「赤外線画像の取り込み」とは、Kinect v2センサーの「IRセンサー」からの画像取り込みを指します。赤外線画像ですから、真っ暗闇の中でも物体を認識して取り込めます。v2になって、認識精度も高まり、鮮明な赤外線画像を得られるようになりました。この機能を利用すれば、防犯システムの構築も可能ではないかと思います。
連載の第2回から第4回では、「Color画像」、「Depth画像」、「赤外線画像」などKinect v2で取得した画像の取り込みといった、ごく基本的なサンプルを解説しています。ここまで読んでこられた読者の皆様にはお分かりだと思いますが、各画像の取り込み方法はほとんど定型化されています。つまり、ColorFrameReaderやDepthFrameReaderやInfraredFrameReaderを使って、OpenReaderメソッドで各フレームを開いて、それぞれの処理を行うことになります。イベントも、今回の連載では各フレームのFrameArrivedイベントにイベントハンドラを記述して、フレームが到着したら用意していた配列にコピーし、WriteableBitmapのWritePixelsでビットマップ内の領域を更新することになります。
この一連の流れで、各画像を取り込み表示することができます。このことを念頭において今回の「赤外線画像の取り込み」を読むと、理解し易くなるのではないかと思います。
今回は、この「赤外線画像の取り込み」方法を解説します。まずはプロジェクトからの作成です。
プロジェクトの作成
VS 2013のメニューから［ファイル］ー［新規作成］ー［プロジェクト］と選択します。次に、「テンプレート」から「Visual Basic」を選択し、右に表示される項目名から「WPF アプリケーション」を選択します。「名前」に任意のプロジェクト名を指定します。今回は「InfraredBasics_Sample」という名前を付けています。
コントロールの配置
デザイン画面上にツールボックスからImageコントロールを1個配置し、「名前（x:Name）」に「Image1」と指定しておきます。
レイアウトは図1のようになります。
図1: デザイン画面上にImageコントロールだけを配置している（クリックで拡大）
編集し、書き出されたXAMLコードはリスト1のようになります。
リスト1 編集し、書き出されたXAMLコード（MainWindow.xaml）
1 | <Window x:Class="MainWindow" |
4 | Title="MainWindow" Height="600" Width="800"> （1） |
6 | <Image x:Name="Image1" /> （2） |
- Window要素のHeightプロパティに「600」、Widthプロパティに「800」と指定しておきます。
- 名前がImage1というImageコントロールを配置しています。
参照設定
ソリューションエクスプローラー内の「参照設定」に、Microsoft.Kinect.dllを追加する必要があります。この手順については第1回で解説していますので、そちらを参照してください。
ロジックコードを記述する
次に、ソリューションエクスプローラー内のMainWindow.xamlを展開して表示される、MainWindow.xaml.vbをダブルクリックしてリスト2のコードを記述します。
リスト2 名前空間のインポートとメンバー変数の宣言（MainWindow.xaml.vbの一部）
1 | Imports Microsoft.Kinect （1） |
3 | Private myKinectSensor As KinectSensor （2） |
4 | Private Const myBytesPerPixel As Integer = 2 （3） |
5 | Private myInfraredFrameReader As InfraredFrameReader （4） |
6 | Private myInfraredDescription As FrameDescription （5） |
7 | Private myInfraredBitmap As WriteableBitmap （6） |
- Kinectの使用を可能にするために、Microsoft.Kinect名前空間をインポートします。続いて、メンバー変数を宣言します。
- Kinectセンサーを表すクラスであるKinectSensor型のメンバー変数myKinectSensorを宣言します。
- Integer型の定数メンバー変数myBytesPerPixelを宣言し、「2」で初期化しておきます。これはグレースケールの画像のデータサイズ（16ビット）をバイトで表したものです（16÷8＝2）。
- 赤外線フレームのリーダーを表わすInfraredFrameReaderクラスのメンバー変数、myInfraredFrameReaderを宣言します。
- KinectSensorからのフレームのプロパティを表わすクラスである、FrameDescriptionクラス型のメンバー変数、myInfraredDescriptionを宣言します。
- WriteableBitmapクラス型のメンバー変数、myInfraredBitmapを宣言します。
ウインドウが読み込まれた時の処理
次は、ウインドウが読み込まれた際の処理を記述します。
リスト3 ウインドウが読み込まれた際の処理（MainWindow.xaml.vbの一部、リスト2の続き）
1 | Private Sub MainWindow_Loaded(sender As Object, e As RoutedEventArgs) Handles Me.Loaded |
2 | myKinectSensor = KinectSensor.GetDefault （1） |
3 | myInfraredDescription = myKinectSensor.InfraredFrameSource.FrameDescription （2） |
5 | myInfraredFrameReader = myKinectSensor.InfraredFrameSource.OpenReader （3） |
6 | myInfraredBitmap = New WriteableBitmap(myInfraredDescription.Width, myInfraredDescription.Height, 96.0, 96.0, PixelFormats.Gray16, Nothing) （4） |
7 | AddHandler myInfraredFrameReader.FrameArrived, AddressOf myInfraredFrameReader_FrameArrived （5） |
- まずKinectセンサーを使用可能にします。
- myKinectSensor.InfraredFrameSource.FrameDescriptionで、赤外線フレームソースの赤外線フレームのプロパティを取得して、メンバー変数myInfraredDescriptionで参照します。
- InfraredFrameSource.OpenReaderメソッドで、赤外線フレームを開きます。
- 次に、WriteableBitmapのパラメータで初期化された、新しいインスタンス、myInfraredBitmapオブジェクトを作成します。WriteableBitmapの書式については第2回目を参照してください。今回は、PixelFormatsに「Gray16」を指定しています。「PixelFormats.Gray16」は、ピクセルあたりのビット数が「16」（65536段階）のグレースケールチャネルを表示できるピクセル形式を取得します。
- AddHandlerステートメントで、InfraredFrameReaderのFrameArrivedイベントにイベントハンドラを指定します。FrameArrivedイベントは、赤外線フレームが到着した時に発生するイベントです。
- OpenメソッドでKinectセンサーを開きます。
赤外線フレームが到着した時に発生するイベント
リスト3の（5）で指定したイベントハンドラの内容を記述します。
リスト4 赤外線フレーム到着時の処理（MainWindow.xaml.vbの一部、リスト3の続き）
01 | Private Sub myInfraredFrameReader_FrameArrived(sender As Object, e As InfraredFrameArrivedEventArgs) |
02 | Using myInfraredFrame As InfraredFrame = e.FrameReference.AcquireFrame （1） |
03 | If myInfraredFrame Is Nothing = True Then |
07 | Dim myInfraredBuffer As UShort() = New UShort(myInfraredDescription.Width * myInfraredDescription.Height - 1) {} （2） |
08 | myInfraredFrame.CopyFrameDataToArray(myInfraredBuffer) （3） |
09 | myInfraredBitmap.WritePixels(New Int32Rect(0, 0, myInfraredBitmap.PixelWidth, myInfraredBitmap.PixelHeight), myInfraredBuffer, myInfraredBitmap.PixelWidth * myBytesPerPixel, 0) （4） |
10 | Image1.Source = myInfraredBitmap （5） |
- e.FrameReference.AcquireFrameメソッドで赤外線フレームを取得し、myInfraredFrameで参照します。
- UShort型の配列変数myInfraredBufferを宣言します。この配列変数の要素数はWidth（512）とHeight（424）の値を乗じた値となります。Color画像以外のDepth画像と赤外線画像の解像度は、512×424になります。
- CopyFrameDataToArrayメソッドで、赤外線フレームデータをUShort型配列にコピーします。書式は下記の通りです。
CopyFrameDataToArray (frameData)
frameDataには赤外線フレームデータをコピーする先の配列を指定します。この場合はUShort型の配列変数myInfraredBufferを指定しています。
- myInfraredBitmap（WriteableBitmapクラス）のWritePixelsメソッドで、ビットマップの指定した領域内のピクセルを更新します。書式については第2回目を参照してください。
- Image1のSourceプロパティにmyInfraredBitmapオブジェクトを指定します。これで赤外線センサーからの画像が表示されます。
ウインドウが閉じられる時の処理
最後は、ウインドウが閉じられる際の処理を記述します。
リスト5 ウインドウを閉じる際の処理（MainWindow.xaml.vbの一部、リスト4の続き）
01 | Private Sub MainWindow_Closing(sender As Object, e As ComponentModel.CancelEventArgs) Handles Me.Closing |
02 | If myInfraredFrameReader Is Nothing = False Then |
03 | myInfraredFrameReader.Dispose() （1） |
04 | myInfraredFrameReader = Nothing |
06 | If myKinectSensor Is Nothing = False Then |
07 | myKinectSensor.Close() （2） |
08 | myKinectSensor = Nothing |
- myInfraredFrameReaderをDisiposeし、全ての関連付けから解放します。
- Kinectセンサーも閉じ、全ての関連付けから解放します。
プログラムを実行すると、図2のように表示されます。
図2: 暗闇の中で取得した赤外線センサーからの画像が表示された（クリックで拡大）
次回からは、ゲームや3Dコンテンツの統合開発エンジンであるUnityからKinect v2を利用する方法をご紹介します。
