人体の連続した動作を音声でキャプチャするKinectのサンプルプログラム

2012年9月21日(金)
薬師寺 国安

今回のサンプルは、音声認識によってプレイヤーのモーションキャプチャを行います。将来的には、ゴルフのスイングのチェックや運動流体力学等に使用できる可能性がある「かも」しれません。利用方法にいろんな可能性のあるサンプルではないかな、と思っています。

各動作の画像はシステムの特別なフォルダである「マイピクチャ」内に、「KINECT_Separate」というサブフォルダを自動的に作成して、その中に保存されます。ただし保存される画像数が多くなり、ストレージの圧迫にもつながりますので、データの削除は手動で行ってください。また動作確認後はデータの削除を忘れないようにしてください。

試す場合は、Kinectセンサーから2m離れてお試しください。2m以上離れすぎるとうまく分身ができない場合もあります。その場合は、2mの位置で再度お試しください。実際の動きは図1と動画を参照してください。

図1:プレイヤーのモーションキャプチャ

サンプル一式は、会員限定特典としてダウンロードできます。記事末尾をご確認ください。

プロジェクトの作成

VS 2010のメニューから[ファイル(F)/新規作成(N)/プロジェクト(P)]と選択します。次に、「WPF アプリケーション」を選択して、「名前(N)」に任意のプロジェクト名を指定します。ここでは「KINECT_ContinuousMotion」という名前を付けています。

ツールボックスからデザイン画面上にImageコントロール3個とCanvasコントロールを1個配置します。

XAMLコードはリスト1、レイアウトは図2のようなります。

リスト1  (MainWindow.xaml)

  • (1)Nameがroom_imageのImageコントロールのSourceプロパティにRoom_Bitmapプロパティをバインドしています。
  • (2)Nameがhuman_image1のImageコントロールのSourceプロパティにHuman1_bitmapプロパティをバインドしています。
  • (3)NameがpersonImageのCanvasコントロールを配置しWidthの640、Heightに480と指定しています。
  • (4)Nameがhuman_image2のImageコントロールのSourceプロパティにHuman2_bitmapプロパティをバインドしています。バインドするこれらの名前は、VBコード内で定義したプロパティ名です。Widthには640、Heightには480と指定しておきます。
<Window x:Class="MainWindow"
    xmlns="http://schemas.microsoft.com/winfx/2006/xaml/presentation"
    xmlns:x="http://schemas.microsoft.com/winfx/2006/xaml"
    Title="MainWindow" Height="636" Width="706">
    <Grid Width="646">
      <Image Name="room_image"  Stretch="Uniform" Source="{Binding Room_Bitmap}" Width="640" Height="480"/> ■(1)
      <Image Name="human_image1" Stretch="Uniform" Source="{Binding Human1_bitmap}"  Width="640" Height="480" /> ■(2)
      <Canvas x:Name="personImage" Width="640" Height="480"></Canvas> ■(3)
      <Image Name="human_image2" Stretch="Uniform" Source="{Binding Human2_bitmap}"  Width="640" Height="480" /> ■(4)
    </Grid>
</Window>
図2:各コントロールを配置した(クリックで拡大)

参照の追加

VS2010のメニューから「プロジェクト(P)/参照の追加(R)」と選択して、各種コンポーネントを追加しておきます。今回追加するのは、Microsoft.KinectとMicrosoft.Speechの2つです。「.NET」タブ内に表示されていないDLLファイルは「参照」タブからDLLファイルを指定します。

Microsoft.Kinect.dllは、C:\Program Files\Microsoft SDKs\Kinect\v1.5\Assemblies内に存在しますので、これを指定します。

Microsoft.Speech.dllは
C:\Windows\assembly\GAC_MSIL\Microsoft.Speech\11.0.0.0__31bf3856ad364e35\
に存在しますので、これを指定してください。このassemblyフォルダ内のGAC_MSILフォルダは「参照の追加(R)」の「参照」タブからでないと参照できません。マイコンピューターからは、このフォルダは表示されませんので注意してください。

次に、ソリューションエクスプローラー内のMainWindow.xamlを展開して表示される、MainWindow.xaml.vbをダブルクリックしてリスト2のコードを記述します。

  • Kinectセンサーによる音声でのモーションキャプチャのサンプル

薬師寺国安事務所

薬師寺国安事務所代表。Visual Basic プログラミングと、マイクロソフト系の技術をテーマとした、書籍や記事の執筆を行う。
1950年生まれ。事務系のサラリーマンだった40歳から趣味でプログラミングを始め、1996年より独学でActiveXに取り組む。1997年に薬師寺聖とコラボレーション・ユニット PROJECT KySS を結成。2003年よりフリーになり、PROJECT KySS の活動に本格的に参加、.NETやRIAに関する書籍や記事を多数執筆する傍ら、受託案件のプログラミングも手掛ける。Windows Phoneアプリ開発を経て、現在はWindows ストア アプリを多数公開中

Microsoft MVP for Development Platforms - Client App Dev (Oct 2003-Sep 2012)。Microsoft MVP for Development Platforms - Windows Phone Development(Oct 2012-Sep 2013)。Microsoft MVP for Development Platforms - Client Development(Oct 2013-Sep 2014)。Microsoft MVP for Development Platforms-Windows Platform Development (Oct 2014-Sep 2015)。

連載バックナンバー

Think ITメルマガ会員登録受付中

Think ITでは、技術情報が詰まったメールマガジン「Think IT Weekly」の配信サービスを提供しています。メルマガ会員登録を済ませれば、メルマガだけでなく、さまざまな限定特典を入手できるようになります。

Think ITメルマガ会員のサービス内容を見る

他にもこの記事が読まれています