Kinect v2で実現する打楽器のバーチャル演奏

プログラムコード

次に、ソリューションエクスプローラー内のMainWindow.xamlを展開して表示される、MainWindow.xaml.vbにリスト2のコードを記述します。

名前空間の読み込みとメンバー変数の宣言

名前空間の読み込みとメンバー変数の宣言については、ほとんどが第2回目と同じですので、ここでは異なるメンバー変数の主なものだけ解説しておきます。

1. カラー空間における2Dの位置を表す構造体のメンバー変数、myColorSpacePointを宣言します。
2. 身体の関節の位置を表すJoint構造体のメンバー変数、commonJointを宣言します。
3. 距離空間における2Dの位置を表す構造体のメンバー変数、pointを宣言します。

ウインドウが読み込まれた時の処理

1. 最初に、Kinectセンサーを使用可能にします。Kinectセンサーが使用可能な状態にある場合は、以下の処理を行います。
2. 距離フレームプロパティの形式を取得し、変数myDepthDescriptionで参照します。
3. Kinectを動作させます。
4. BodyFrameSource.OpenReaderで、ボディフレームのソースフレームのリーダーを作成し、変数myBodyFrameReaderで参照します。
5. myBodyFrameReader.FrameArrivedで、新しいボディフレームの準備ができているときに発生するイベント処理を実行します。
6. ボディフレームソースのボディの個数を引数に持った、新しいBodyの配列をmyBodiesに格納します。
7. myKinect.ColorFrameSource.OpenReaderで、カラーフレームのソースフレームのリーダーを作成し、myColorFrameReaderメンバー変数で参照します。
8. 配列変数ColorImagePixelDataを確保します。
9. ピクセル データを格納するビットマップを作成し、変数colorBitmapで参照します。
10. myColorFrameReader.FrameArrivedでカラーフレーム到着時のイベントを実行します。

新しいボディフレームの準備ができているときに発生するイベント処理

1. e.FrameReference.AcquireFrameメソッドで、ボディフレームを取得し、myBodyFrameで参照します。myBodyFrameに何もなかった場合は、何も行いません。
2. GetAndRefreshBodyDataメソッドで、更新されたボディデータを取得します。
3. Canvas内を一度クリアしておきます。
4. ボディデータの中で反復処理を行いながら、繰り返し変数jointで関節の位置を反復処理して、関節位置を取得していきます。
5. 関節が追跡されている場合は、関節の位置と関節の位置を表す円の大きさ、関節の位置を描く色に透明を指定して、DrawEllipseを実行します。
6. 右手が追跡されている場合は、CoordinateMapper.MapCameraPointToDepthSpaceメソッドで関節の位置をカメラ空間から距離空間へのポイントにマップし、変数myColorSpacePointで参照します。
7. 手のXとY軸の位置を取得して、メンバー変数myHandPositionXとmyHandPositionYに格納します。
8. 右手の位置と、右手の状態と、右手を追跡している精度を引数にして、DrawHandStateを実行します。