PR

プレイヤーの身体パーツを判別するKinectサンプル

2012年8月22日(水)
薬師寺 国安

※前ページからの続きです。

RGBカメラ、距離カメラ、スケルトンのフレームが更新されたことを通知するイベント

e.OpenSkeletonFrameメソッドでスケルトンフレームを開き、スケルトンのフレームを取得します。スケルトンのフレームが取得できた時の処理を行います。

スケルトンのデータを保持するのに必要なメモリを確保するために、skeletonFrameData.SkeletonArrayLength-1で初期化された新しいSkeletonのインスタンス、allSkeletons配列オブジェクトを作成します。skeletonArrayLengthプロパティは、スケルトン配列の長さを取得します。
これで、スケルトンデータのバイト列を確保し、CopySkeletonDataToメソッドで、スケルトンフレームからスケルトンのデータを取り出します。
取得されるデータはプレイヤー分取得されますので、それぞれのトラッキング状態を確認します。
CopySkeletonDataToメソッドは、指定した配列、この場合allSkeletons配列変数に、現在のスケルトンフレーム、この場合skeletonFrameDataオブジェクトをコピーするメソッドです。
allskeletons配列は、現在の SkeletonFrameで、1つの追跡されたスケルトンについて、それぞれのデータを受け取るスケルトンオブジェクトの配列です。

SkeletonクラスのtrackedSkeleton変数で、スケルトンデータを持つallSkeletons配列変数内で、全ての関節の位置がトラッキングされた状態にある、先頭の要素を取得していきます。
トラッキングされた関節の位置を保持している変数mySkeletonと、KinectSensor.AllFramesReadyイベントに関する情報を保持している変数eを引数に、スケルトンの位置を取得する処理である、GetCameraPointプロシージャを実行します。

  Private Sub kinect_AllFramesReady(sender As Object, e As AllFramesReadyEventArgs)
    Using skeletonFrameData As SkeletonFrame = e.OpenSkeletonFrame()
      If skeletonFrameData Is Nothing = True Then
        Return
      End If
 
      Dim allSkeletons As Skeleton() = New Skeleton(skeletonFrameData.SkeletonArrayLength - 1) {}
      skeletonFrameData.CopySkeletonDataTo(allSkeletons)
      mySkeleton = (From trackedSkeleton In allSkeletons Where trackedSkeleton.TrackingState = SkeletonTrackingState.Tracked Select trackedSkeleton).FirstOrDefault()
    End Using
    If mySkeleton Is Nothing Then
      Return
    End If
    GetCameraPoint(mySkeleton, e)
  End Sub

スケルトンの位置を取得する処理

Kinectセンサーの距離カメラから、距離カメラのフレームデータを表すDepthImageFrameクラス型のdepth変数を宣言し、OpenDepthImageFrameメソッドで、距離カメラのフレームデータを取得します。
距離データのピクセル座標、および距離、プレイヤーIDを表す、DepthImagePoint構造体のleftDepthPoint変数を宣言し、MapFromSkeletonPointメソッドで、スケルトンの座標を、距離カメラの座標に変換します。この場合左手の位置を距離カメラの座標に変換します。
同じく右手の位置、頭部の位置も距離カメラの座標に変換します。MapFromSkeletonPointメソッドの書式は下記の通りです。

DepthImageFrame. MapFromSkeletonPoint(変換するスケルトン座標)

次に、RGBデータのピクセル座標を表す、ColorImagePoint構造体の変数leftColorPointを宣言し、MapToColorImagePointメソッドで、距離カメラの座標をRGBカメラの座標に変換します。書式は

DepthFrameImage.MapToColorImagePoint(距離カメラのX座標,距離カメラのY座標,RGBカメラのフォーマット)

となります。

この場合、左手の距離カメラのX座標と、Y座標をRGBフォーマット(解像度が640×480、フレーム レートは 毎秒30フレーム)に変換しています。同様に右手、頭部に対しても同じ処理を行います。距離カメラのデータをRGBカメラ(実写)のデータにマップします。

MapToSkeletonPointで距離カメラの座標に対応する、スケルトンの座標を取得します。書式は下記の通りです。

DepthImageFrame.MapToSkeletonPoint(距離カメラのX座標,距離カメラのY座標)

Zプロパティで、スケルトンポイントのZ座標(距離カメラからの距離)を取得します。左手、右手、頭部の距離カメラからの距離を取得します。つまり、

スケルトンの座標を距離カメラの座標に変換⇒距離カメラの座標をRGBカメラの座標に変換⇒距離カメラのデータをRGBカメラ(実写)のデータにマップしZ座標を取得

といった流れになります。

  Private Sub GetCameraPoint(ByVal mySkeleton As Skeleton, ByVal e As AllFramesReadyEventArgs)
    Try
      Using depth As DepthImageFrame = e.OpenDepthImageFrame()
        Dim leftDepthPoint As DepthImagePoint = depth.MapFromSkeletonPoint(mySkeleton.Joints(JointType.HandLeft).Position)
        Dim rightDepthPoint As DepthImagePoint = depth.MapFromSkeletonPoint(mySkeleton.Joints(JointType.HandRight).Position)
        Dim headDepthPoint As DepthImagePoint = depth.MapFromSkeletonPoint(mySkeleton.Joints(JointType.Head).Position)
 
        Dim leftColorPoint As ColorImagePoint = depth.MapToColorImagePoint(leftDepthPoint.X, leftDepthPoint.Y, ColorImageFormat.RgbResolution640x480Fps30)
        Dim rightColorPoint As ColorImagePoint = depth.MapToColorImagePoint(rightDepthPoint.X, rightDepthPoint.Y, ColorImageFormat.RgbResolution640x480Fps30)
        Dim headColorPoint As ColorImagePoint = depth.MapToColorImagePoint(headDepthPoint.X, headDepthPoint.Y, ColorImageFormat.RgbResolution640x480Fps30)
 
        rightZ = depth.MapToSkeletonPoint(rightColorPoint.X, rightColorPoint.Y).Z
        leftZ = depth.MapToSkeletonPoint(leftColorPoint.X, leftColorPoint.Y).Z
        headZ = depth.MapToSkeletonPoint(headColorPoint.X, headColorPoint.Y).Z
      End Using
    Catch
      Exit Sub
    End Try
  End Sub

ウィンドウが閉じられた時の処理

Kinectセンサーが動作している場合は、動作を停止し、リソースを解放します。

  Private Sub MainWindow_Closing(sender As Object, e As System.ComponentModel.CancelEventArgs) Handles Me.Closing
    If Kinect Is Nothing = False Then
      If Kinect.IsRunning = True Then
        Kinect.Stop()
        Kinect.Dispose()
      End If
    End If
  End Sub
End Class
図3:playerIndexに格納されるAnd演算結果の例(クリックで拡大)

以上で今回のサンプルは終了です。

Think IT会員限定特典
  • プレイヤーの身体パーツを判別するKinectサンプル

薬師寺国安事務所

薬師寺国安事務所代表。Visual Basic プログラミングと、マイクロソフト系の技術をテーマとした、書籍や記事の執筆を行う。
1950年生まれ。事務系のサラリーマンだった40歳から趣味でプログラミングを始め、1996年より独学でActiveXに取り組む。1997年に薬師寺聖とコラボレーション・ユニット PROJECT KySS を結成。2003年よりフリーになり、PROJECT KySS の活動に本格的に参加、.NETやRIAに関する書籍や記事を多数執筆する傍ら、受託案件のプログラミングも手掛ける。Windows Phoneアプリ開発を経て、現在はWindows ストア アプリを多数公開中

Microsoft MVP for Development Platforms - Client App Dev (Oct 2003-Sep 2012)。Microsoft MVP for Development Platforms - Windows Phone Development(Oct 2012-Sep 2013)。Microsoft MVP for Development Platforms - Client Development(Oct 2013-Sep 2014)。Microsoft MVP for Development Platforms-Windows Platform Development (Oct 2014-Sep 2015)。

連載バックナンバー

Think IT会員サービス無料登録受付中

Think ITでは、より付加価値の高いコンテンツを会員サービスとして提供しています。会員登録を済ませてThink ITのWebサイトにログインすることでさまざまな限定特典を入手できるようになります。

Think IT会員サービスの概要とメリットをチェック

他にもこの記事が読まれています