プレイヤーの身体パーツを判別するKinectサンプル［3ページ目］

※前ページからの続きです。

RGBカメラ、距離カメラ、スケルトンのフレームが更新されたことを通知するイベント

e.OpenSkeletonFrameメソッドでスケルトンフレームを開き、スケルトンのフレームを取得します。スケルトンのフレームが取得できた時の処理を行います。

スケルトンのデータを保持するのに必要なメモリを確保するために、skeletonFrameData.SkeletonArrayLength-1で初期化された新しいSkeletonのインスタンス、allSkeletons配列オブジェクトを作成します。skeletonArrayLengthプロパティは、スケルトン配列の長さを取得します。
これで、スケルトンデータのバイト列を確保し、CopySkeletonDataToメソッドで、スケルトンフレームからスケルトンのデータを取り出します。
取得されるデータはプレイヤー分取得されますので、それぞれのトラッキング状態を確認します。
CopySkeletonDataToメソッドは、指定した配列、この場合allSkeletons配列変数に、現在のスケルトンフレーム、この場合skeletonFrameDataオブジェクトをコピーするメソッドです。
allskeletons配列は、現在の SkeletonFrameで、1つの追跡されたスケルトンについて、それぞれのデータを受け取るスケルトンオブジェクトの配列です。

SkeletonクラスのtrackedSkeleton変数で、スケルトンデータを持つallSkeletons配列変数内で、全ての関節の位置がトラッキングされた状態にある、先頭の要素を取得していきます。
トラッキングされた関節の位置を保持している変数mySkeletonと、KinectSensor.AllFramesReadyイベントに関する情報を保持している変数eを引数に、スケルトンの位置を取得する処理である、GetCameraPointプロシージャを実行します。

  Private Sub kinect_AllFramesReady(sender As Object, e As AllFramesReadyEventArgs)
    Using skeletonFrameData As SkeletonFrame = e.OpenSkeletonFrame()
      If skeletonFrameData Is Nothing = True Then
        Return
      End If
 
      Dim allSkeletons As Skeleton() = New Skeleton(skeletonFrameData.SkeletonArrayLength - 1) {}
      skeletonFrameData.CopySkeletonDataTo(allSkeletons)
      mySkeleton = (From trackedSkeleton In allSkeletons Where trackedSkeleton.TrackingState = SkeletonTrackingState.Tracked Select trackedSkeleton).FirstOrDefault()
    End Using
    If mySkeleton Is Nothing Then
      Return
    End If
    GetCameraPoint(mySkeleton, e)
  End Sub

スケルトンの位置を取得する処理

Kinectセンサーの距離カメラから、距離カメラのフレームデータを表すDepthImageFrameクラス型のdepth変数を宣言し、OpenDepthImageFrameメソッドで、距離カメラのフレームデータを取得します。
距離データのピクセル座標、および距離、プレイヤーIDを表す、DepthImagePoint構造体のleftDepthPoint変数を宣言し、MapFromSkeletonPointメソッドで、スケルトンの座標を、距離カメラの座標に変換します。この場合左手の位置を距離カメラの座標に変換します。
同じく右手の位置、頭部の位置も距離カメラの座標に変換します。MapFromSkeletonPointメソッドの書式は下記の通りです。

DepthImageFrame. MapFromSkeletonPoint(変換するスケルトン座標)

次に、RGBデータのピクセル座標を表す、ColorImagePoint構造体の変数leftColorPointを宣言し、MapToColorImagePointメソッドで、距離カメラの座標をRGBカメラの座標に変換します。書式は

DepthFrameImage.MapToColorImagePoint(距離カメラのX座標,距離カメラのY座標,RGBカメラのフォーマット)

となります。

この場合、左手の距離カメラのX座標と、Y座標をRGBフォーマット（解像度が640×480、フレーム レートは 毎秒30フレーム）に変換しています。同様に右手、頭部に対しても同じ処理を行います。距離カメラのデータをRGBカメラ（実写）のデータにマップします。

MapToSkeletonPointで距離カメラの座標に対応する、スケルトンの座標を取得します。書式は下記の通りです。

DepthImageFrame.MapToSkeletonPoint(距離カメラのX座標,距離カメラのY座標)

Zプロパティで、スケルトンポイントのZ座標（距離カメラからの距離）を取得します。左手、右手、頭部の距離カメラからの距離を取得します。つまり、

スケルトンの座標を距離カメラの座標に変換⇒距離カメラの座標をRGBカメラの座標に変換⇒距離カメラのデータをRGBカメラ（実写）のデータにマップしZ座標を取得

といった流れになります。

  Private Sub GetCameraPoint(ByVal mySkeleton As Skeleton, ByVal e As AllFramesReadyEventArgs)
    Try
      Using depth As DepthImageFrame = e.OpenDepthImageFrame()
        Dim leftDepthPoint As DepthImagePoint = depth.MapFromSkeletonPoint(mySkeleton.Joints(JointType.HandLeft).Position)
        Dim rightDepthPoint As DepthImagePoint = depth.MapFromSkeletonPoint(mySkeleton.Joints(JointType.HandRight).Position)
        Dim headDepthPoint As DepthImagePoint = depth.MapFromSkeletonPoint(mySkeleton.Joints(JointType.Head).Position)
 
        Dim leftColorPoint As ColorImagePoint = depth.MapToColorImagePoint(leftDepthPoint.X, leftDepthPoint.Y, ColorImageFormat.RgbResolution640x480Fps30)
        Dim rightColorPoint As ColorImagePoint = depth.MapToColorImagePoint(rightDepthPoint.X, rightDepthPoint.Y, ColorImageFormat.RgbResolution640x480Fps30)
        Dim headColorPoint As ColorImagePoint = depth.MapToColorImagePoint(headDepthPoint.X, headDepthPoint.Y, ColorImageFormat.RgbResolution640x480Fps30)
 
        rightZ = depth.MapToSkeletonPoint(rightColorPoint.X, rightColorPoint.Y).Z
        leftZ = depth.MapToSkeletonPoint(leftColorPoint.X, leftColorPoint.Y).Z
        headZ = depth.MapToSkeletonPoint(headColorPoint.X, headColorPoint.Y).Z
      End Using
    Catch
      Exit Sub
    End Try
  End Sub

ウィンドウが閉じられた時の処理

Kinectセンサーが動作している場合は、動作を停止し、リソースを解放します。

  Private Sub MainWindow_Closing(sender As Object, e As System.ComponentModel.CancelEventArgs) Handles Me.Closing
    If Kinect Is Nothing = False Then
      If Kinect.IsRunning = True Then
        Kinect.Stop()
        Kinect.Dispose()
      End If
    End If
  End Sub
End Class

図3：playerIndexに格納されるAnd演算結果の例（クリックで拡大）

以上で今回のサンプルは終了です。