3DGSを使ったフィジカルAI向けロボット訓練事例をNVIDIAらが解説 ほか

今週も、XR・AI領域の最新動向をお届けします。NVIDIAのライブ配信では、360度カメラの映像から3D空間を構築し、ロボットの行動モデルを訓練するフィジカルAIの最前線が示されました。Google DeepMindからは、Pixel 11向けに手話をテキストへ翻訳する新たなAIモデルであるSL2Tが公開されています。またInsta360からは、撮影した動画から手軽に3Dモデルを生成できる空間キャプチャに対応した最新カメラが登場しました。さらにPICO TVとDeoVRが共同で実施する、最大1000ドルの制作支援を受けられるVR映像作品募集プロジェクトを紹介していきます。

360度カメラでロボット訓練環境を作る NVIDIAらが語るフィジカルAIと3DGSの交差点

NVIDIA Omniverseの公式YouTubeで、実空間をスキャンしてロボット訓練環境を構築し、そこで学習させた行動モデルを実機で動かす技術が紹介されました。Niantic Spatialの技術では、1回の撮影からガウシアン・スプラッティングとメッシュを同時に出力し、独自の深度モデルでノイズを抑えたシミュレーション環境を作ります。

Flexionは市販の360度カメラを使い、短時間かつ低コストでオフィスを取り込み、Isaac Lab上で行動モデルを強化学習させました。訓練された行動モデルは追加学習なしで実機に移され、机の位置が異なっていても経由地をたどり、透明な板や未学習の三脚も避けて動作しました。

今後はレイトレーシングにより、金属や透明な物体の表現がさらに強化される予定です。

本ニュースの詳細はこちら：
360度カメラでロボット訓練環境を作る NVIDIAらが語るフィジカルAIと3DGSの交差点
https://www.moguravr.com/nvidia-3dgs-humanoid-sim-to-real/

スマホのカメラで手話を認識、Google Deepmindが手話翻訳AIをPixel 11に提供

Google DeepMindは、手話をテキストへ翻訳するAIモデルであるSL2Tを発表しました。このモデルはPixel 11のGboardとLive Transcribeに搭載され、まずはアメリカ手話から英語への翻訳に対応します。

50以上の手話を含む10万時間以上のデータで学習されており、単語ごとの置き換えではなく、複雑な文法や動きを考慮した機械翻訳として機能します。プライバシー面では、元の映像は破棄され、座標データのみを利用する仕組みです。

Deafコミュニティが開発から評価まで深く関わっており、現在はまれな手話や高速な指文字における課題が残るものの、今後は対応言語の拡大や手話生成にも取り組む方針です。ストリーミング時の遅延や左利きへの対応も改善が進められています。

本ニュースの詳細はこちら：
スマホのカメラで手話を認識、Google Deepmindが手話翻訳AIをPixel 11に提供
https://www.moguravr.com/google-deepmind-sl2t-sign-language-ai/

360度カメラ「Insta360」付属アプリに新機能「空間キャプチャ」で動画から3Dモデルに変換

Insta360は、8K解像度に対応した最新の360度カメラであるInsta360 X6の販売を開始しました。

このカメラは、オブジェクトや空間を360度で撮影し、付属アプリに取り込むことで3Dガウシアン・スプラッティング（以下、3DGS）モデルを生成できる空間キャプチャ機能に対応しています。これにより、平面的な動画とは異なり、再構成された3D空間内を自由に移動しながら見渡せるようになります。360度動画から手軽に高クオリティな3DGSを構築できる手段として注目され、付属アプリでの正式対応は初の事例です。

X6はセンサー面積を従来比で33％拡大したデュアルSonyセンサーを搭載しており、より精度の高い空間再現をサポートします。

本ニュースの詳細はこちら：
360度カメラ「Insta360」付属アプリに新機能「空間キャプチャ」で動画から3Dモデルに変換
https://www.moguravr.com/insta360-x6-spatial-capture/

世界に届けるVR映像作品を募集、PICO×DeoVR「Create Beyond」

PICO TVとDeoVRは、VRクリエイター向けの作品募集企画であるCreate Beyondを開始しました。

採択された企画には最大1000ドルの制作支援が提供されます。募集部門は、地域の暮らしや体験の共有を対象とするVLOGと、ドキュメンタリーやアートなどVRならではの表現を求めるOPEN TRACKの2つです。応募作品は8Kかつ30fps以上、3分以上の長さが条件となります。応募者は最初にコンセプトと制作計画を提出し、採択後は中間段階の映像についてフィードバックを受けながら最終版を納品します。

最終作品はPICO TV Chinaで公開されるほか、PICOの新しいデバイス発売に合わせて両プラットフォームで同時公開される予定です。

本ニュースの詳細はこちら：
世界に届けるVR映像作品を募集、PICO×DeoVR「Create Beyond」
https://www.moguravr.com/pico-tv-deovr-create-beyond-creator-call/

※本ニュース記事は「Mogura VR」から提供を受けて配信しています。
転載元はこちらをご覧ください。