人体の連続した動作を音声でキャプチャするKinectのサンプルプログラム

今回のサンプルは、音声認識によってプレイヤーのモーションキャプチャを行います。将来的には、ゴルフのスイングのチェックや運動流体力学等に使用できる可能性がある「かも」しれません。利用方法にいろんな可能性のあるサンプルではないかな、と思っています。

各動作の画像はシステムの特別なフォルダである「マイピクチャ」内に、「KINECT_Separate」というサブフォルダを自動的に作成して、その中に保存されます。ただし保存される画像数が多くなり、ストレージの圧迫にもつながりますので、データの削除は手動で行ってください。また動作確認後はデータの削除を忘れないようにしてください。

試す場合は、Kinectセンサーから2m離れてお試しください。2m以上離れすぎるとうまく分身ができない場合もあります。その場合は、2mの位置で再度お試しください。実際の動きは図1と動画を参照してください。

図1：プレイヤーのモーションキャプチャ

サンプル一式は、会員限定特典としてダウンロードできます。記事末尾をご確認ください。

プロジェクトの作成

VS 2010のメニューから[ファイル(F)／新規作成(N)／プロジェクト(P)]と選択します。次に、「WPF アプリケーション」を選択して、「名前(N)」に任意のプロジェクト名を指定します。ここでは「KINECT_ContinuousMotion」という名前を付けています。

ツールボックスからデザイン画面上にImageコントロール3個とCanvasコントロールを1個配置します。

XAMLコードはリスト1、レイアウトは図2のようなります。

リスト1 　(MainWindow.xaml)

• （１）Nameがroom_imageのImageコントロールのSourceプロパティにRoom_Bitmapプロパティをバインドしています。
• （２）Nameがhuman_image1のImageコントロールのSourceプロパティにHuman1_bitmapプロパティをバインドしています。
• （３）NameがpersonImageのCanvasコントロールを配置しWidthの640、Heightに480と指定しています。
• （４）Nameがhuman_image2のImageコントロールのSourceプロパティにHuman2_bitmapプロパティをバインドしています。バインドするこれらの名前は、VBコード内で定義したプロパティ名です。Widthには640、Heightには480と指定しておきます。

<Window x:Class="MainWindow"
    xmlns="http://schemas.microsoft.com/winfx/2006/xaml/presentation"
    xmlns:x="http://schemas.microsoft.com/winfx/2006/xaml"
    Title="MainWindow" Height="636" Width="706">
    <Grid Width="646">
      <Image Name="room_image"  Stretch="Uniform" Source="{Binding Room_Bitmap}" Width="640" Height="480"/>　■（１）
      <Image Name="human_image1" Stretch="Uniform" Source="{Binding Human1_bitmap}"  Width="640" Height="480" />　■（２）
      <Canvas x:Name="personImage" Width="640" Height="480"></Canvas>　■（３）
      <Image Name="human_image2" Stretch="Uniform" Source="{Binding Human2_bitmap}"  Width="640" Height="480" />　■（４）
    </Grid>
</Window>

図2：各コントロールを配置した（クリックで拡大）

参照の追加

VS2010のメニューから「プロジェクト(P)／参照の追加(R)」と選択して、各種コンポーネントを追加しておきます。今回追加するのは、Microsoft.KinectとMicrosoft.Speechの2つです。「.NET」タブ内に表示されていないDLLファイルは「参照」タブからDLLファイルを指定します。

Microsoft.Kinect.dllは、C:\Program Files\Microsoft SDKs\Kinect\v1.5\Assemblies内に存在しますので、これを指定します。

Microsoft.Speech.dllは
C:\Windows\assembly\GAC_MSIL\Microsoft.Speech\11.0.0.0__31bf3856ad364e35\
に存在しますので、これを指定してください。このassemblyフォルダ内のGAC_MSILフォルダは「参照の追加(R)」の「参照」タブからでないと参照できません。マイコンピューターからは、このフォルダは表示されませんので注意してください。

次に、ソリューションエクスプローラー内のMainWindow.xamlを展開して表示される、MainWindow.xaml.vbをダブルクリックしてリスト2のコードを記述します。