PR

Kinectで距離カメラの値を取得して、指定した距離で人物が背景に溶け込むサンプル

2012年8月8日(水)
薬師寺 国安

※前ページからの続きです。

背景をマスクしプレイヤーだけが表示され、距離データが表示される処理

RGBカメラの1ラインあたりのバイト数を表すmyColorStride変数に、colorFrame.BytesPerPixel *colorFrame.Width と指定します。RGBカメラの1ピクセルあたりのバイト数を取得して、RGBカメラのフレームの幅に乗算します。RGBカメラの1ラインあたりのバイト数が取得できます。
32ビットを1バイト(8ビット)で除算すると4バイトとなり、それにcolorFrame.Widthの640を乗算します。4×640=2560となります。
直接この値を指定しても問題はありません。

また、Kinectセンサーの距離カメラのストリームフレーム幅と、RGBカメラのピクセルあたりのバイト数を取得するBytesPerPixelを乗算して、取得した距離カメラの1ラインあたりのストリームバイト数を変数myScreenImageStrideに格納しておきます。
これも640×4=2560となり、直接この値を指定しても問題ありません。次に、

  • Byte型の配列変数bytePlayer変数を距離カメラのフレームの高さ
  • Kinectセンサーの距離カメラのストリームフレーム幅
  • RGBカメラのピクセルあたりのバイト数を取得するBytesPerPixel

上記3つを乗算して取得した、距離カメラ1ラインあたりのストリームバイト数を保持しているmyScreenImageStrideで乗算した値で初期化します。
つまり、depthFrame.Heightの640に、myScreenImageStrideに設定した、DepthStream.FrameWidth*colorFrame.BytePerPixel(640×4バイト)の値である2560を乗算した、(640×2560)1638400-1の値で初期化されたバイト配列型のbytePlayerオブジェクトが作成されます。

CopyPixelDataToメソッドで、距離カメラのピクセルごとのデータを取得します。同様にRGBカメラのピクセルごとのデータも取得します。これで、実際のデータを取り出します。

繰り返し変数depthFrameDataで、0から距離カメラのフレームの高さ分反復処理を行います。反復処理内では以下の処理を行います。

myDepthPixelIndex変数に1ずつ加算される変数depthDataの値と、繰り返し変数depthFrameDataに距離カメラのフレーム幅(640)を乗算した値を加算して、格納しておきます。

Short型の配列で、myDepthPixelIndex変数に対応する値と、距離カメラのフレームデータから、PlayerIndexBitmaskでビットマスクに含まれているプレイヤーIDとで論理積演算を行います。
距離カメラのピクセルデータを反復処理し、プレイヤーのインデックス値を抽出します。

ビット演算 AND は、2 つのビットを比較し、両方のビットの値が 1 の場合にのみ、値 1 を結果に代入します。そうでない場合は、結果のビットに 0 をセットします。
AND 演算子は、その他すべてのビット演算子と同様、オペランドとして数値のみを取ります。And演算子に付いては下記のURLを参照してください。
→ And 演算子(msdn)

また、myPlayerIndex = myDepthPixelData(myDepthPixelIndex) And DepthImageFrame.PlayerIndexBitmaskでmyPlayerIndexに入る演算結果については、図2を参照してください。

RGBカメラのX-Y座標データを表すColorImagePointクラスのmyColorPointを宣言し、MapDepthToColorImagePointで、距離カメラの座標に対応する、RGBカメラの座標を取得します。
すると、深度情報を実画像に変換してくれます。書式は下記の通りです。

KinectSensor. MapDepthToColorImagePoint(距離カメラの フォーマット,距離カメラのX 座標,XとY座標の距離データ(Short型),RGBカメラのフォーマット)

変数myColorPixelIndexに、RGBカメラのX座標とRGBカメラのピクセルあたりのバイト数を取得して乗算し、RGBカメラのY座標とRGBカメラの1ラインあたりのバイト数を表すmyColorStrideを乗算して、これらを加算した値を格納しておきます。

プレイヤーが存在し、プレイヤーの深度データが必要な場合は、以下のように記述します。
playerDepth = myDepthPixelData(myDepthPixelIndex) >> DepthImageFrame.PlayerIndexBitmaskWidth
そして、myDepthPixelData(myDepthPixelIndex) をDepthImageFrame.PlayerIndexBitmaskWidth 分右へシフトします。
つまり、3ビット(DepthImageFrame.PlayerIndexBitmaskWidth分)右へシフトすると、プレイヤーの深度のデータだけを取得できるということです。深度のデータが2000(2m)より小さい場合は、プレイヤーを抽出します。

上記は、ビットシフト演算を使用しています。ビットシフトはその名の通り、ビット列をそのまま左右に移動させる演算です。

  • expression1 >> expression2
  • expression1

>> は expression1 を expression2 だけ右にシフトします

expression1 と expression2 には、それぞれ式を指定します。

ビットごとの右シフト演算子 (>>)やビットごとの左シフト演算子 (>>)については、下記のURLを参照してください。
ビットごとの右シフト演算子 (>>)
ビットごとの左シフト演算子 (

myColorPixelIndexに対応する、Byte型の配列変数であるRGBカメラの画像に、青、緑、赤、Alphaを指定していきます。32ビット(4バイト)分確保された配列で、最後の余った8ビット(1バイト)をAlphaチャネルに使用しています。

bytePlayer(myImageIndex + 3) = &HFFと指定しAlphaチャネルを指定することで背景が透明化されます。
変数depthDataを1ずつ加算し、myImageIndex変数にRGBカメラのピクセルあたりのバイト数を加算していきます。

myImageIndex = myImageIndex + colorFrame.BytesPerPixel は
myImageIndex = myImageIndex + 4 としても同じです。

BytesPerPixelは1ピクセルあたりのバイト数を取得しますので、1ピクセルは8ビットでフルカラーの場合は32ビットになるため、32÷8=4バイトとなり、colorFrame.BytesPerPixelは4と同じになります。

この値が、Byte型の配列変数のインデックスに対応します。下位3ビットのプレイヤーIDを指し示す値です。

WriteableBitmap型の変数PersonにWritePixelsメソッドで、ビットマップの指定した領域内に更新したデータを格納します。書式は下記の通りです。

WritePixels(更新するWriteableBitmapの四角形,ビットマップの更新に使用するピクセル配列,pixel内の更新領域のストライド,入力バッファのオフセット)

この値を戻り値としているPersonプロパティの値を、ImageコントロールのSourceプロパティにバインドします。

TextBlock内に深度データ(playerDepthの値)を表示します。

Private Sub AppearPLayer(colorFrame As ColorImageFrame, depthFrame As DepthImageFrame)
    If kinect Is Nothing = True OrElse depthFrame Is Nothing = True OrElse colorFrame Is Nothing = True Then
      Return
    End If
 
    Dim playerDepth As Integer = 0
 
    Dim myDepthPixelIndex As Integer = 0
    Dim myPlayerIndex As Integer = 0
    Dim myColorPixelIndex As Integer = 0
 
    Dim myColorStride As Integer = colorFrame.BytesPerPixel * colorFrame.Width
    Dim myScreenImageStride As Integer = kinect.DepthStream.FrameWidth * colorFrame.BytesPerPixel
 
    Dim myImageIndex As Integer = 0
  
    Dim bytePlayer As Byte() = New Byte(depthFrame.Height * myScreenImageStride - 1) {}
    depthFrame.CopyPixelDataTo(myDepthPixelData)
    colorFrame.CopyPixelDataTo(myColorPixelData)
 
    For depthFrameData As Integer = 0 To depthFrame.Height - 1
      Dim depthData As Integer = 0
      While depthData < depthFrame.Width
        myDepthPixelIndex = depthData + (depthFrameData * depthFrame.Width)
        myPlayerIndex = myDepthPixelData(myDepthPixelIndex) And DepthImageFrame.PlayerIndexBitmask
        Dim myColorPoint As ColorImagePoint = kinect.MapDepthToColorImagePoint(depthFrame.Format, depthData, depthFrameData, myDepthPixelData(myDepthPixelIndex), colorFrame.Format)
  
        myColorPixelIndex = (myColorPoint.X * colorFrame.BytesPerPixel) + (myColorPoint.Y * myColorStride)
        If myPlayerIndex <> 0 Then
          playerDepth = myDepthPixelData(myDepthPixelIndex) >> DepthImageFrame.PlayerIndexBitmaskWidth
          If playerDepth < maxDepthValue Then
            bytePlayer(myImageIndex) = myColorPixelData(myColorPixelIndex)
            bytePlayer(myImageIndex + 1) = myColorPixelData(myColorPixelIndex + 1)
            bytePlayer(myImageIndex + 2) = myColorPixelData(myColorPixelIndex + 2)
            bytePlayer(myImageIndex + 3) = &HFF
          End If
        End If
        depthData = depthData + 1
        myImageIndex = myImageIndex + colorFrame.BytesPerPixel
      End While
    Next
 
    Person.WritePixels(myImageRect, bytePlayer, myScreenImageStride, 0)
    TextBlock1.Text = String.Format("深度={0}", playerDepth)
  End Sub

ウィンドウが閉じられた時の処理

Kinectセンサーが動作している場合は、Kinectの動作を停止し、リソースを開放します。

  Private Sub MainWindow_Closing(sender As Object, e As System.ComponentModel.CancelEventArgs) Handles Me.Closing
    If kinect Is Nothing = False Then
      If kinect.IsRunning = True Then
        kinect.Stop()
        kinect.Dispose()
      End If
    End If
  End Sub
End Class
図2:myPlayerIndexに格納されるAnd演算結果の例(クリックで拡大)

いかがでしたか。距離に応じて、自分の姿が消えたり現れたり出来れば今回のサンプルは成功です。

それでは、次回もお楽しみに。

Think IT会員限定特典
  • Kinectで距離カメラの値を取得して、距離に応じて姿を隠すサンプル

薬師寺国安事務所

薬師寺国安事務所代表。Visual Basic プログラミングと、マイクロソフト系の技術をテーマとした、書籍や記事の執筆を行う。
1950年生まれ。事務系のサラリーマンだった40歳から趣味でプログラミングを始め、1996年より独学でActiveXに取り組む。1997年に薬師寺聖とコラボレーション・ユニット PROJECT KySS を結成。2003年よりフリーになり、PROJECT KySS の活動に本格的に参加、.NETやRIAに関する書籍や記事を多数執筆する傍ら、受託案件のプログラミングも手掛ける。Windows Phoneアプリ開発を経て、現在はWindows ストア アプリを多数公開中

Microsoft MVP for Development Platforms - Client App Dev (Oct 2003-Sep 2012)。Microsoft MVP for Development Platforms - Windows Phone Development(Oct 2012-Sep 2013)。Microsoft MVP for Development Platforms - Client Development(Oct 2013-Sep 2014)。Microsoft MVP for Development Platforms-Windows Platform Development (Oct 2014-Sep 2015)。

連載バックナンバー

Think IT会員サービス無料登録受付中

Think ITでは、より付加価値の高いコンテンツを会員サービスとして提供しています。会員登録を済ませてThink ITのWebサイトにログインすることでさまざまな限定特典を入手できるようになります。

Think IT会員サービスの概要とメリットをチェック

他にもこの記事が読まれています