PR

Kinectで人体を認識して棒人間を動かすサンプル

2012年7月5日(木)
薬師寺 国安

前ページからの続きです。

骨格と接合部分を描画する

DrawBoneメソッドで、「胴体」「左腕」「右腕」「左脚」「右脚」を描いていきます。

接合部分をJoint型の繰り返し変数myJointで反復処理しながら、以下の処理を行います。

接合部分が追跡されている場合は、Brushクラス型の変数drawBrushにメンバ変数[追跡された関節のブラシ]のブラシを指定します。

接合部分が推測されている場合は、メンバ変数推測された関節のブラシ(黄色)を指定します。DrawingContext.DrawEllipse メソッドで、指定した Brush および Pen を使用して楕円を描画します。書式は下記の通りです。

DrawingContext.DrawEllipse(楕円の塗りつぶしに使用するブラシ[これは省略可能であり、Nothing を指定できます], 楕円のストロークを描画する際に使用するペン[これは省略可能であり、Nothing を指定できます], 楕円の中心の位置, 楕円の横半径, 楕円の縦半径)

「楕円の塗りつぶしに使用するブラシ」には変数のdrawBrushの値を指定します。「楕円のストロークを描画する際に使用するペン」にはNothingを指定し、「楕円の中心の位置」には、スケルトンポイントを出力する、SkeletonPointToScreen関数の戻り値を指定します。

「楕円の横半径」と「楕円の縦半径」にはメンバ定数変数[関節の太さ]の3を指定します。

  Private Sub DrawBonesAndJoints(ByVal skeleton As Skeleton, ByVal drawingContext As DrawingContext)
      
    ‘胴体
    DrawBone(skeleton, drawingContext, JointType.Head, JointType.ShoulderCenter)
    DrawBone(skeleton, drawingContext, JointType.ShoulderCenter, JointType.ShoulderLeft)
    DrawBone(skeleton, drawingContext, JointType.ShoulderCenter, s)
    DrawBone(skeleton, drawingContext, JointType.ShoulderCenter, JointType.Spine)
    DrawBone(skeleton, drawingContext, JointType.Spine, JointType.HipCenter)
    DrawBone(skeleton, drawingContext, JointType.HipCenter, JointType.HipLeft)
    DrawBone(skeleton, drawingContext, JointType.HipCenter, JointType.HipRight)

    '左腕
    DrawBone(skeleton, drawingContext, JointType.ShoulderLeft, JointType.ElbowLeft)
    DrawBone(skeleton, drawingContext, JointType.ElbowLeft, JointType.WristLeft)
    DrawBone(skeleton, drawingContext, JointType.WristLeft, JointType.HandLeft)
 
    ' 右腕
    DrawBone(skeleton, drawingContext, JointType.ShoulderRight, JointType.ElbowRight)
    DrawBone(skeleton, drawingContext, JointType.ElbowRight, JointType.WristRight)
    DrawBone(skeleton, drawingContext, JointType.WristRight, JointType.HandRight)
   
    '左脚
    DrawBone(skeleton, drawingContext, JointType.HipLeft, JointType.KneeLeft)
    DrawBone(skeleton, drawingContext, JointType.KneeLeft, JointType.AnkleLeft)
    DrawBone(skeleton, drawingContext, JointType.AnkleLeft, JointType.FootLeft)
 
    ' 右脚
    DrawBone(skeleton, drawingContext, JointType.HipRight, JointType.KneeRight)
    DrawBone(skeleton, drawingContext, JointType.KneeRight, JointType.AnkleRight)
    DrawBone(skeleton, drawingContext, JointType.AnkleRight, JointType.FootRight)
 
    For Each myJoint As Joint In skeleton.Joints
      Dim drawBrush As Brush = Nothing
 
      If myJoint.TrackingState = JointTrackingState.Tracked Then
        drawBrush = 追跡された関節のブラシ
      ElseIf  myJoint.TrackingState = JointTrackingState.Inferred Then
        drawBrush = 推測された関節のブラシ
      End If

      If drawBrush Is Nothing = False Then
        drawingContext.DrawEllipse(drawBrush, Nothing, SkeletonPointToScreen(myJoint.Position), 関節の太さ, 関節の太さ)
      End If
    Next
  End Sub

スケルトンポイントを出力する関数

距離カメラのX-Y座標データを表す、DepthImagePoint構造体の変数depthPointを宣言し、MapSkeletonPointToDepthメソッドで、スケルトンの座標を、距離カメラの座標に変換します。距離カメラの解像度は640×480で、1秒当たり30フレームとなります。

レンダー領域を制限し、距離カメラのxとy座標を戻り値とします。

  Private Function SkeletonPointToScreen(ByVal skelpoint As SkeletonPoint) As Point
    Dim depthPoint As DepthImagePoint = newSensor.MapSkeletonPointToDepth(skelpoint, DepthImageFormat.Resolution640x480Fps30)
    Dim x As Double = depthPoint.X
    If x > ScreenWidth Then
      x = ScreenWidth
    ElseIf x < 0 Then
      x = 0
    End If
 
    Dim y As Double = depthPoint.Y
    If y > ScreenHeight Then
      y = ScreenHeight
    ElseIf y < 0 Then
      y = 0
    End If
    Return New Point(x, y)
  End Function

骨格と接合部分を描画するメソッド

スケルトンの部位を特定する、Joint型の変数myJoint0を宣言します。同様にmyJoint1変数を宣言します。これらの関節のいずれかを見つけることができない場合は、終了します。両方のポイントが推論される場合は描画しません。

Penクラス型の変数drawPenを宣言し、メンバ変数[推測された骨のペン色と幅](Navyで幅10)で初期化しておきます。

両方の接合部位が追跡されている場合は、変数drawPenにメンバ変数[追跡された骨のペン色と幅](赤で幅6)で初期化します。

DrawingContext.DrawLine メソッドで、指定したPenを使用して、指定した Points の間の線を描画します。書式は下記の通りです。

DrawingContext.DrawLine(線のストロークを描画する際に使用するペン, 線の開始点, 線の終点)

「線のストロークを描画する際に使用するペン」にはPen型の変数drawPenを指定します。「線の開始点」と「線の終点」には、スケルトンポイントを出力する関数SkeletonPointToScreenに、引数として、それぞれの関節の位置を渡して取得できる、戻り値を指定します。

  Private Sub DrawBone(ByVal skeleton As Skeleton, ByVal drawingContext As DrawingContext, ByVal jointType0 As JointType, ByVal jointType1 As JointType)
    Dim myJoint0 As Joint = skeleton.Joints(jointType0)
    Dim myJoint1 As Joint = skeleton.Joints(jointType1)
 
    If myJoint0.TrackingState = JointTrackingState.NotTracked OrElse myJoint1.TrackingState = JointTrackingState.NotTracked Then
      Return
    End If
    If myJoint0.TrackingState = JointTrackingState.Inferred AndAlso myJoint1.TrackingState = JointTrackingState.Inferred Then
      Return
    End If
 
    Dim drawPen As Pen = 推測された骨のペン色と幅
    If myJoint0.TrackingState = JointTrackingState.Tracked AndAlso myJoint1.TrackingState = JointTrackingState.Tracked Then
      drawPen = 追跡された骨のペン色と幅
    End If
    
    drawingContext.DrawLine(drawPen, SkeletonPointToScreen(myJoint0.Position), SkeletonPointToScreen(myJoint1.Position))
  End Sub

Kinect センサーを停止する処理

Kinectセンサーが動作している場合は、イベントとイベント ハンドラの関連付けを解除します。Kinectセンサーの動作を停止し、リソースを解放します。

  Private Sub StopKinect(sensor As KinectSensor)
    If sensor Is Nothing = False Then
      If sensor.IsRunning = True Then
        RemoveHandler sensor.SkeletonFrameReady, AddressOf SkeletonsReady
        sensor.Stop()
        sensor.Dispose()
      End If
    End If
  End Sub
End Class

今回のサンプルは以上で終了です。このサンプルを応用すれば、自分の動きにあわせてXboxのゲームのようにアバターが動くアプリが作れるかもしれませんね。棒人間が動くだけでも十分楽しいので、ぜひチャレンジしてみてください。

それでは、次回もお楽しみに。

Think IT会員限定特典
  • Kinectで人間の身体に対応したスケルトンジョイントを取得するサンプル

  • スケルトン ジョイントをRGB画像データに重ねて表示するサンプル

  • 人間の動きに合わせて棒人間を動かすサンプル

薬師寺国安事務所

薬師寺国安事務所代表。Visual Basic プログラミングと、マイクロソフト系の技術をテーマとした、書籍や記事の執筆を行う。
1950年生まれ。事務系のサラリーマンだった40歳から趣味でプログラミングを始め、1996年より独学でActiveXに取り組む。1997年に薬師寺聖とコラボレーション・ユニット PROJECT KySS を結成。2003年よりフリーになり、PROJECT KySS の活動に本格的に参加、.NETやRIAに関する書籍や記事を多数執筆する傍ら、受託案件のプログラミングも手掛ける。Windows Phoneアプリ開発を経て、現在はWindows ストア アプリを多数公開中

Microsoft MVP for Development Platforms - Client App Dev (Oct 2003-Sep 2012)。Microsoft MVP for Development Platforms - Windows Phone Development(Oct 2012-Sep 2013)。Microsoft MVP for Development Platforms - Client Development(Oct 2013-Sep 2014)。Microsoft MVP for Development Platforms-Windows Platform Development (Oct 2014-Sep 2015)。

連載バックナンバー

Think IT会員サービス無料登録受付中

Think ITでは、より付加価値の高いコンテンツを会員サービスとして提供しています。会員登録を済ませてThink ITのWebサイトにログインすることでさまざまな限定特典を入手できるようになります。

Think IT会員サービスの概要とメリットをチェック

他にもこの記事が読まれています