ニューヨーク州立大学ビンガムトン大学の研究者は、ユーザーが口のジェスチャーだけを使ってVR環境で操作できるようにする新しい技術を開発しました。
Oculus RiftやHTC ViveといったVRヘッドセットは、装着者の顔の上半分を閉塞し、顔全体からの動作認識を止める問題があり、それに対処するため、本チームはリアルタイムでVR内の相互作用媒体として口ジェスチャーを解釈する新しいフレームワークを作成しました。
参考資料に、画像や動画がないのでテキストだけになりますが、デモでは森の中を動き回ってケーキを多く食べるというゲームを実施。プレイヤーは、頭の回転を使用して方向を選択し、口のジェスチャーで移動し、笑顔でケーキを食べます。
デモアプリでは、ユーザーの口の動きを記述して分類することができ、高い認識率を達成したと言います。
技術はまだプロトタイプ段階ですが、エンターテインメントだけに限らず、障害のある患者を助ける健康管理としてなど、他の分野にも応用できると述べています。
関連
Facebook AI Research、ユーザーの顔の表情を読み取りエージェントと非言語対話を可能にする機械学習モデル「Learn2Smile」を論文にて公開 | Seamless