Kinect v2で実現する打楽器のバーチャル演奏

カラーフレーム到着時のイベント

1. e.FrameReference.AcquireFrameメソッドでカラーフレームを取得し、myColorFrameで参照します。
2. myColorFrameにデータがあった場合、KinectSensor から、イメージフレームのプロパティを取得し、変数myColorFrameDescriptionで参照します。
   取得したプロパティの幅と高さが、colorBitmapのPixelWidth、PixelHeightと同じであった場合、以下の処理を実行します。
3. カラーフレームデータの形式がBgraであった場合は、CopyRawFrameDataToArrayメソッドで、Raw フレームのデータ指定された配列（ColorImagePixelData）にコピーします。
   そうでない場合は、CopyConvertedFrameDataToArrayメソッドで、フレームから「BGRA形式」のバイト列に変換し、バイト配列に格納します。書式は下記の通りです。
   CopyConvertedFrameDataToArray(frameData,colorFomat)
   「frameData」には格納する配列、この場合はバイト配列のColorImagePixelDataを指定しています。「colorFormat」には色の形式を指定します。この場合は「Bgra形式」を指定しています。
4. Boolean型で宣言していた変数colorFrameProcessedをTrueで初期化します。
5. 変数colorFrameProcessed変数がTrueであった場合は、colorBitmap（WriteableBitmapクラス）のWritePixelsメソッドで、ビットマップの指定した領域内のピクセルを更新します。書式は下記の通りです。
   WritePixels(sourecRect,pixels,stride,offset)
   「sourceRect」には更新するWriteableBitmapの四角形を表す「Int32Rect型」を指定します。「pixels」にはビットマップの更新に使用する「ピクセル配列」を指定します。この場合は、ColorImagePixelDataのバイト列を指定しています。「stride」にはpixels内の更新領域の「ストライド」を指定します。今回はcolorBitmapのPixelWidthにメンバー変数BytesPerPixel（値は4）の4をかけた値を指定しています。「ストライド」とは、画像データのX座標横一列あたりに用いられるバイト数を示す値です。「offset」には入力バッファのオフセットを指定します。今回は「0」を指定しています。
6. roomImageのSourceプロパティにcolorBitmapオブジェクトを指定します。これでRGBカメラからの画像が表示されます。

プレイヤーの手の形によって条件分岐を行う処理

手がパーの状態なら、Indexの値を0で初期化します。手がグーの状態の場合は、まず太鼓とドラムの位置を取得します。太鼓の位置を取得できたらIndexを1に、ドラムの位置が取得できたらIndexを2に初期化します。
リスト8で、ここで取得したIndexの値で条件分岐を行い、Indexが1で太鼓、Indexが2でドラムの音が鳴るようにしています。

ウインドウが閉じられる場合の処理

Kinectが動作している場合はKinectを閉じ、全ての関連付けから解放します。

関節の位置に透明の円を表示する処理

1. 透明な半径10pixelの円を作成します。半径は呼び出し時に引数で指定しています。
2. CoordinateMapper.MapCameraPointToDepthSpaceメソッドで、関節の位置を、カメラ空間から距離空間へのポイントにマップし、メンバー変数pointで参照します。
3. SetLeftとSetTopメソッドに透明な円を指定し、XとY軸に描きます。
4. メンバー変数Indexが1の場合はMediaElement1（太鼓）、2の場合はMediaElement2（ドラム）を再生します。

音の再生が終わった時の処理

実際に動かしてみた様子を動画に示します。