Kinect v2を使った「じゃんけんゲーム」を作る

リスト2　Jyanken.xml

<?xml version="1.0" encoding="utf-8" ?>
<じゃんけん>
  <画像名>グー.png</画像名>
  <画像名>チョキ.png</画像名>
  <画像名>パー.png</画像名>
</じゃんけん>

リスト3（MainWindow.xaml.vbの一部）

Imports System.ComponentModel　　　（1）
Imports Microsoft.Kinect　　　（2）
Imports Microsoft.Speech.AudioFormat　　　（3）
Imports Microsoft.Speech.Recognition　　　（4）
Imports KinectSensor_KinectAudioStream　　　（5）
Imports System.IO
Public Class MainWindow

リスト4　（MainWindow.xaml.vbの一部、リスト3の続き）

    Private myKinect As KinectSensor　　　（1）
    Private myBodyFrameReader As BodyFrameReader　　　（2）
    Private myColorFrameReader As ColorFrameReader = Nothing　　　（3）
    Private colorBitmap As WriteableBitmap = Nothing　　　（4）
    Private BytesPerPixel As Integer = 4　　　（5）
    Private ColorImagePixelData As Byte()　　　（6）
    Private Rnd As Random　　　（7）
    Private RandomNumber As Integer
    Private SpeechEngine As SpeechRecognitionEngine　　　（8）
    Const SpeechID As String = "SR_MS_ja-JP_Kinect_11.0"　　（9）
    Private myKinectAudioStream As KinectAudioStream　　　（10）
    Private Index As Integer = 0
    Private myBodies As Body()　　　　（11）
    Private myBodyDrawingGroup As New DrawingGroup　　　（12）
    Private myRect As Rect　　　（13）
    Private JyankenImage As String
    Private xmldoc As XElement　　　（14）
    Private flagImage As String
    Private player_Score As Integer = 0
    Private computer_Score As Integer = 0

リスト5　（MainWindow.xaml.vbの一部、リスト4の続き）

Private Sub MainWindow_Loaded(sender As Object, e As RoutedEventArgs) Handles Me.Loaded
        myKinect = KinectSensor.GetDefault
        xmldoc = XElement.Load("Jyanken.xml")　　　（1）

        Try
            If myKinect Is Nothing = False Then
                Dim myDepthDescription = myKinect.DepthFrameSource.FrameDescription　　　（2）
                myKinect.Open()　　　（3）
                myBodyFrameReader = myKinect.BodyFrameSource.OpenReader　（4）
                AddHandler myBodyFrameReader.FrameArrived, AddressOf myBodyFrameReader_FrameArrived　　　（5）
                myBodies = New Body(myKinect.BodyFrameSource.BodyCount - 1) {}　（6）
                myRect = New Rect(0, 0, myDepthDescription.Width, myDepthDescription.Height)　　　（7）
                myColorFrameReader = myKinect.ColorFrameSource.OpenReader
                AddHandler myColorFrameReader.FrameArrived, AddressOf myColorFrameReader_FrameArrived　　　（8）
                Dim myColorFrameDescripton As FrameDescription = myKinect.ColorFrameSource.CreateFrameDescription(ColorImageFormat.Bgra)　（9）
                BytesPerPixel = myColorFrameDescripton.BytesPerPixel　　（10）
                ReDim ColorImagePixelData(myColorFrameDescripton.Width * myColorFrameDescripton.Height * BytesPerPixel – 1)　　　（11）
                colorBitmap = New WriteableBitmap(myColorFrameDescripton.Width, myColorFrameDescripton.Height, 96.0, 96.0, PixelFormats.Bgr32, Nothing)　（12）
                Dim myAudioBeamList As IReadOnlyList(Of AudioBeam) = myKinect.AudioSource.AudioBeams　　　（13）
                Dim myAudioStream = myAudioBeamList(0).OpenInputStream　（14）
                myKinectAudioStream = New KinectAudioStream(myAudioStream) 　　　（15）
            End If
        Catch
            myKinect.Close()
            myKinect = Nothing
        End Try
        SpeechEngine = New SpeechRecognitionEngine(SpeechID)　　　（16）
        Dim myWord As New Choices
        With myWord
            .Add(“じゃんけんぽん”) 　　　（17）
        End With

        Dim myGrammerBuilder As New GrammarBuilder
        myGrammerBuilder.Culture = SpeechEngine.RecognizerInfo.Culture
        myGrammerBuilder.Append(myWord)　　　（18）
        Dim myGrammer As New Grammar(myGrammerBuilder)　　　（19）
        SpeechEngine.LoadGrammar(myGrammer)　　　（20）

        AddHandler SpeechEngine.SpeechRecognized, AddressOf speechEngine_SpeechRecognized　　　（21）
        myKinectAudioStream.SpeechActive = True　　　（22）
        SpeechEngine.SetInputToAudioStream(myKinectAudioStream, New SpeechAudioFormatInfo(EncodingFormat.Pcm, 16000, 16, 1, 32000, 2, Nothing))　（23）
        SpeechEngine.RecognizeAsync(RecognizeMode.Multiple)　　（24）
End Sub