Google Research、VRヘッドセット装着者の眼を捉えた画像のみから残りの顔全体の表情をDeep learning（CNN）を用いて推測（分類）する手法「Eyemotion」を論文にて発表

Google Researchは、VRヘッドセットを装着したユーザーの眼を追跡し捉えた画像のみで、そこから顔全体の表情をDeep learningを用いて推測する手法「Eyemotion」を論文にて発表しました。

「Eyemotion」は、VRヘッドセット内の赤外線（IR）視線追跡カメラから捉えたユーザーの眼の画像のみの分析で、外部カメラを使用せずに残りの顔表情を分類推測するのに十分であることを示します。

推測には、Deep learning（CNNベース）が用いられており、表現分類のため46人の被験者から訓練データを収集しました。

同時に、推測した顔の表情を動的アバターへリアルタイムに反映させることを可能にします。本アプローチは、すでに組み込まれているVRヘッドセット内視線追跡カメラを使用できることも特徴です。

関連