Kinectの画像をビットマップデータに書き出し、深度データを取得する処理
RGBカメラの1ラインあたりのバイト数を表すcolorStride変数にcolorFrame.BytesPerPixel *colorFrame.Width と指定します。RGBカメラの1ピクセルあたりのバイト数を取得して、RGBカメラのフレームの幅に乗算します。RGBカメラの1ラインあたりのバイト数が取得できます。32ビットを1バイト（8ビット）で除算すると4バイトそれにcolorFrame.Widthの640を乗算します。4×640=2560となります。直接この値を指定しても問題はありません。
変数screenImageStrideには、colorFrame.BytesPerPixel * depthFrame.Widthの値を格納しておきます。これも640×4=2560となり、直接この値を指定しても問題ありません。
Byte型の配列変数bytePlayer2変数を、距離カメラのフレームの高さと、距離カメラの1ラインあたりのストリームバイト数を保持しているscreenImageStrideで乗算した値で初期化します。つまり、depthFrame.Heightの480に、screenImageStrideに設定した、colorFrame.BytesPerPixel * depthFrame.Width (4(バイト)×640)の値である2560を乗算した(480×2560)1228800-1の値で初期化されたバイト配列型のbytePlayer2オブジェクトが作成されます。
同様にbytePlayer1とbyteRoomバイト型配列変数も同じ値で初期化しておきます。
CopyPixelDataToメソッドで、距離カメラのピクセルごとのデータを取得します。同様にRGBカメラのピクセルごとのデータも取得します。これで、実際のデータを取り出します。CopyPixelDataToメソッドは、ピクセルデータの長さを使用して、事前に割り当てられた配列へ、ピクセルごとの深度データやRGBデータをコピーします。
繰り返し変数depthYで、0から距離カメラのフレームの高さ分反復処理を行います。反復処理内では以下の処理を行います。
depthPixelIndex変数に1ずつ加算される変数depthXの値と繰り返し変数depthYに距離カメラのフレーム幅（640）を乗算した値を加算して、格納しておきます。
init_kinectプロシージャ内で確保された、myDepthPixelDataのShort型の配列で、depthPixelIndex変数に対応する値と、距離カメラのフレームデータから、PlayerIndexBitmaskでビットマスクに含まれているプレイヤーIDとで論理積演算を行います。距離カメラのピクセルデータを反復処理し、プレイヤーのインデックス値を抽出します。
ビット演算 AND は、2 つのビットを比較し、両方のビットの値が 1 の場合にのみ、値 1 を結果に代入します。そうでない場合は、結果のビットに 0 をセットします。AND 演算子は、その他すべてのビット演算子と同様、オペランドとして数値のみを取ります。And演算子に付いては下記のURLを参照してください。
→ And 演算子（msdn）
RGBカメラのX-Y座標データを表すColorImagePointクラスのcolorPoint変数に、MapDepthToColorImagePointで、距離カメラの座標に対応する、RGBカメラの座標を取得します。深度情報を実画像に変換してくれます。書式は下記の通りです。
KinectSensor. MapDepthToColorImagePoint(距離カメラの フォーマット,距離カメラのX 座標,XとY座標の距離データ(Short型),RGBカメラのフォーマット)
変数colorPixelIndexに、RGBカメラのX座標とRGBカメラのピクセルあたりのバイト数を取得して乗算し、RGBカメラのY座標とRGBカメラの1ラインあたりのバイト数を表すcolorStrideを乗算して、これらを加算した値を格納しておきます。
プレイヤーが存在し、プレイヤーの深度データが必要な場合は、
depth = myDepthPixelData(depthPixelIndex) >> DepthImageFrame.PlayerIndexBitmaskWidth
と記述して、myDepthPixelData(depthPixelIndex) をDepthImageFrame.PlayerIndexBitmaskWidth 分右へシフトします。
PlayerIndexBitmaskWidthフィールドは、プレイヤーインデックスビットマスク内の、幅またはビットの数を表します。これはプレイヤーインデックスを格納する深度データの下位ビットの数を表します。つまり、3ビット（DepthImageFrame.PlayerIndexBitmaskWidth分）右へシフトするとプレイヤーの深度のデータだけを取得できます。上記は、ビットシフト演算を使用しています。ビットシフトはその名の通り、ビット列をそのまま左右に移動させる演算です。
expression1 >> expression2
expression1
>> は expression1 を expression2 だけ右にシフトします
expression1 と expression2 には、それぞれ式を指定します。ビットごとの右シフト演算子 (>>)やビットごとの左シフト演算子 (>>)については、下記のURLを参照してください。
変数depthXを1ずつ加算し、ImageIndex変数にRGBカメラのピクセルあたりのバイト数を加算していきます。
ImageIndex = ImageIndex + colorFrame.BytesPerPixel
は
ImageIndex = ImageIndex + 4
としても同じです。
BytesPerPixelは1ピクセルあたりのバイト数を取得しますので、1ピクセルは8ビットでフルカラーの場合は32ビットになるため32÷8=4バイトとなり、colorFrame.BytesPerPixelは4と同じになります。
この値が、Byte型の配列変数（bytePlayer1、bytePlayer2、byteRoom）のインデックスに対応します。下位3ビットのプレイヤーIDを指し示す値です。
深度に応じて書き込み先を変更していきます。ImageIndexに対応する、Byte型の配列変数である距離データを画像化していきます。プレイヤーが存在し、深度のデータが2400（2m40cm）より大きい場合は、プレイヤーを奥側へ描画します。深度のデータが2400(2m40cm)より小さかった場合は、手前に描画します。
プレイヤー以外は背景イメージに描画します。プレイヤー以外を背景イメージに描画する処理を書いていないと、背景となる部屋が描画されませんので、注意してください。
- bytePlayer1(ImageIndex + 3) = &HFF
- bytePlayer2(ImageIndex + 3) = &HFF
- byteRoom(ImageIndex + 3) = &HFF
上記3つのコードはAlphaを指定しているコードです。PixelFormats.Bgra32と指定していましたので、32ビット中、残りの8ビットをAlphaに使用して背景を透明化しています。
WriteableBitmap型の変数Human_Image1_BitmapにWritePixelsメソッドで、byteからビットマップへ書き出します。ビットマップの指定した領域内に更新したデータを格納します。書式は下記の通りです。このHuman_Image1_Bitmapプロパティの値を、ImageコントロールのSourceプロパティにバインドします。
WritePixels(更新するWriteableBitmapの四角形,ビットマップの更新に使用するピクセル配列,pixel内の更新領域のストライド,入力バッファのオフセット)
同様に、Human_Image2_Bitmap、Room_Bitmapに関してもWritePixelsメソッドを適用します。
depthTextBlock内に深度のデータを表示します。
01 | Private Sub RenderScreen(colorFrame As ColorImageFrame, depthFrame As DepthImageFrame) |
02 | If Kinect Is Nothing OrElse depthFrame Is Nothing OrElse colorFrame Is Nothing Then |
06 | Dim depth As Integer = 0 |
07 | Dim depthPixelIndex As Integer |
08 | Dim playerIndex As Integer |
09 | Dim colorPixelIndex As Integer |
10 | Dim colorPoint As ColorImagePoint |
12 | Dim colorStride As Integer = colorFrame.BytesPerPixel * colorFrame.Width |
13 | Dim screenImageStride As Integer = colorFrame.BytesPerPixel * depthFrame.Width |
15 | Dim ImageIndex As Integer = 0 |
16 | Dim bytePlayer2 As Byte() = New Byte(depthFrame.Height * screenImageStride - 1) {} |
17 | Dim bytePlayer1 As Byte() = New Byte(depthFrame.Height * screenImageStride - 1) {} |
18 | Dim byteRoom As Byte() = New Byte(depthFrame.Height * screenImageStride - 1) {} |
20 | depthFrame.CopyPixelDataTo(myDepthPixelData) |
21 | colorFrame.CopyPixelDataTo(myColorPixelData) |
23 | For depthY As Integer = 0 To depthFrame.Height - 1 |
24 | Dim depthX As Integer = 0 |
25 | While depthX < depthFrame.Width |
26 | depthPixelIndex = depthX + (depthY * depthFrame.Width) |
27 | playerIndex = myDepthPixelData(depthPixelIndex) And DepthImageFrame.PlayerIndexBitmask |
28 | colorPoint = Kinect.MapDepthToColorImagePoint(depthFrame.Format, depthX, depthY, myDepthPixelData(depthPixelIndex), colorFrame.Format) |
29 | colorPixelIndex = (colorPoint.X * colorFrame.BytesPerPixel) + (colorPoint.Y * colorStride) |
31 | If playerIndex <> 0 Then |
32 | depth = myDepthPixelData(depthPixelIndex) >> DepthImageFrame.PlayerIndexBitmaskWidth |
33 | If depth > myDepth Then |
34 | bytePlayer1(ImageIndex) = myColorPixelData(colorPixelIndex) |
35 | bytePlayer1(ImageIndex + 1) = myColorPixelData(colorPixelIndex + 1) |
36 | bytePlayer1(ImageIndex + 2) = myColorPixelData(colorPixelIndex + 2) |
37 | bytePlayer1(ImageIndex + 3) = &HFF |
39 | bytePlayer2(ImageIndex) = myColorPixelData(colorPixelIndex) |
40 | bytePlayer2(ImageIndex + 1) = myColorPixelData(colorPixelIndex + 1) |
41 | bytePlayer2(ImageIndex + 2) = myColorPixelData(colorPixelIndex + 2) |
42 | bytePlayer2(ImageIndex + 3) = &HFF |
45 | byteRoom(ImageIndex) = myColorPixelData(colorPixelIndex) |
46 | byteRoom(ImageIndex + 1) = myColorPixelData(colorPixelIndex + 1) |
47 | byteRoom(ImageIndex + 2) = myColorPixelData(colorPixelIndex + 2) |
48 | byteRoom(ImageIndex + 3) = &HFF |
51 | ImageIndex = ImageIndex + colorFrame.BytesPerPixel |
55 | Human_Image1_Bitmap.WritePixels(myScreenImageRect, bytePlayer1, screenImageStride, 0) |
56 | Human_Image2_Bitmap.WritePixels(myScreenImageRect, bytePlayer2, screenImageStride, 0) |
57 | Room_Bitmap.WritePixels(myScreenImageRect, byteRoom, screenImageStride, 0) |
59 | depthTextBlock.Text = String.Format("深度={0}", depth) |
ウィンドウが閉じられた時の処理
Kinectセンサーが動作している場合は、動作を停止し、リソースを解放します。
1 | Private Sub MainWindow_Closing(sender As Object, e As System.ComponentModel.CancelEventArgs) Handles Me.Closing |
2 | If Kinect Is Nothing = False Then |
3 | If Kinect.IsRunning = True Then |
参考文献
今回のサンプルのソース元は、菅崎 篤史様の下記のURLの「すがろぐ」にあるサンプルを参考にアレンジさせていただきました。ありがとうございます。
→ すがろぐ － プロろぐ
