Kinect v2の音声認識で「仮面」を選んで変身してみる

リスト3：MainWindow.xaml.vbの一部

Imports Microsoft.Kinect
Imports Microsoft.Speech.AudioFormat
Imports Microsoft.Speech.Recognition
Imports KinectSensor_KinectAudioStream

Public Class Mask
    Public Property 画像名 As String
End Class
Class MainWindow

リスト4：MainWindow.xaml.vbの一部、リスト3の続き

Private xmldoc As XElement
Private myKinect As KinectSensor
Private myBodyFrameReader As BodyFrameReader
Private myBodies As Body()
Private myHandPositionX As Double
Private myHandPositionY As Double
Private myColorSpacePoint As ColorSpacePoint　　　（1）
Private myBytesPerPixel As Integer = 4
Private myColorFrameReader As ColorFrameReader = Nothing
Private colorBitmap As WriteableBitmap = Nothing
Private ColorImagePixelData As Byte()
Private BytesPerPixel As Integer = 4
Private point As DepthSpacePoint　　　（2）
Private SpeechEngine As SpeechRecognitionEngine
Const SpeechID As String = "SR_MS_ja-JP_Kinect_11.0"
Private myKinectAudioStream As KinectAudioStream
Private Index As Integer = 0
Private myImage As Image　　　（3）
Private myMask As String　　　（3）

リスト5：MainWindow.xaml.vbの一部、リスト4の続き

Private Sub MainWindow_Loaded(sender As Object, e As RoutedEventArgs) Handles Me.Loaded
    xmldoc = XElement.Load("mask.xml")　　　（1）
    Dim maskList As New List(Of Mask)　　　（2）

    For Each result In From c In xmldoc.Descendants("画像名") Select c
        maskList.Add(New Mask With {.画像名 = "Images/" & result.Value})　（3）
    Next
    ListBox1.ItemsSource = maskList　　　（4）

    myKinect = KinectSensor.GetDefault　　　（5）
    If myKinect Is Nothing = False Then
        Dim myDepthDescription = myKinect.DepthFrameSource.FrameDescription　　　（6）
        myKinect.Open()　　　（7）
        myBodyFrameReader = myKinect.BodyFrameSource.OpenReader　　（8）
        AddHandler myBodyFrameReader.FrameArrived, AddressOf myBodyFrameReader_FrameArrived　　　（9）
        myBodies = New Body(myKinect.BodyFrameSource.BodyCount - 1) {}　（10）
        myColorFrameReader = myKinect.ColorFrameSource.OpenReader　（11）
        Dim myColorFrameDescription As FrameDescription = myKinect.ColorFrameSource.CreateFrameDescription(ColorImageFormat.Bgra)　 　　（12）
        ColorImagePixelData = New Byte(myColorFrameDescription.Width * myColorFrameDescription.Height * BytesPerPixel - 1) {}　　　（13）
        colorBitmap = New WriteableBitmap(myColorFrameDescription.Width, myColorFrameDescription.Height, 96.0, 96.0, PixelFormats.Bgr32, Nothing)　　 （14）
        AddHandler myColorFrameReader.FrameArrived, AddressOf myColorFrameReader_FrameArrived　　　（15）
        Dim myAudioBeamList As IReadOnlyList(Of AudioBeam) = myKinect.AudioSource.AudioBeams　　　（16）
        Dim myAudioStream = myAudioBeamList(0).OpenInputStream　　　（17）
        myKinectAudioStream = New KinectAudioStream(myAudioStream) 　　　（18）
    End If

    SpeechEngine = New SpeechRecognitionEngine(SpeechID) 　　　（19）
    Dim myWord As New Choices　　　（20）
    With myWord
        .Add("うえ")
        .Add("した")
    End With

    Dim myGrammarBuilder As New GrammarBuilder
    myGrammarBuilder.Culture = SpeechEngine.RecognizerInfo.Culture
    myGrammarBuilder.Append(myWord)　　　　　　（21）
    Dim myGrammar As New Grammar(myGrammarBuilder) 　　　（22）
    SpeechEngine.LoadGrammar(myGrammar)　　　（23）

    AddHandler SpeechEngine.SpeechRecognized, AddressOf speechEngine_SpeechRecognized　　　（24）
    myKinectAudioStream.SpeechActive = True　　　（25）
    SpeechEngine.SetInputToAudioStream(myKinectAudioStream, New SpeechAudioFormatInfo(EncodingFormat.Pcm, 16000, 16, 1, 32000, 2, Nothing)) 　　　（26）
    SpeechEngine.RecognizeAsync(RecognizeMode.Multiple) 　　　（27）
End Sub