Seamless

Virtual Reality News

メニュー

ビンガムトン大学、VRユーザーが口のジェスチャーだけを使ってVR環境で操作する技術を発表。笑顔でしかケーキを食べれない動作など

ニューヨーク州立大学ビンガムトン大学の研究者は、ユーザーが口のジェスチャーだけを使ってVR環境で操作できるようにする新しい技術を開発しました。

Oculus RiftやHTC ViveといったVRヘッドセットは、装着者の顔の上半分を閉塞し、顔全体からの動作認識を止める問題があり、それに対処するため、本チームはリアルタイムでVR内の相互作用媒体として口ジェスチャーを解釈する新しいフレームワークを作成しました。

参考資料に、画像や動画がないのでテキストだけになりますが、デモでは森の中を動き回ってケーキを多く食べるというゲームを実施。プレイヤーは、頭の回転を使用して方向を選択し、口のジェスチャーで移動し、笑顔でケーキを食べます。

デモアプリでは、ユーザーの口の動きを記述して分類することができ、高い認識率を達成したと言います。

技術はまだプロトタイプ段階ですが、エンターテインメントだけに限らず、障害のある患者を助ける健康管理としてなど、他の分野にも応用できると述べています。

関連

Facebook AI Research、ユーザーの顔の表情を読み取りエージェントと非言語対話を可能にする機械学習モデル「Learn2Smile」を論文にて公開 | Seamless

About

Seamless(シームレス)は、Virtual Realityの記事を主軸に更新しています。(詳細はこちら