英国ベースのVRスタートアップ「Emteq」は、顔の動きをトラッキングしFacebookの「Reactions（リアクション）」風ボタンを操作する映像を公開しました。
映像では、口を横に広げるとニコニコマーク、ウィンクするとウィンクマークが入力される様子が映し出されます。リアクションマークは、実際にFacebookで使われている種類よりも多く独自に拡張し7種類が選択できるようになっています。
顔の筋肉の動きを感知
Emteqは、今年の9月に「Faceteq」と呼ばれるフェイストラッキング技術を明らかにしています。
「Faceteq」は、カメラによるトラッキングではなく、筋電図(EMG)や電気眼球図記録(EOG)などの生体センサーを使用した技術で、HMDの内側に取り付けたプレートにより顔の筋肉運動の際に発生する微量の電気を取得し、AIによって感情に変換、リアルタイムにVR内のアバターなどの表情に反映させる技術です。
今回の映像は、Faceteqの応用といったところで、アバターへの感情表現だけでなく、VRにおける操作をフェイスインターフェースでコントロールするアプローチです。応用は、その他にも医療分野に活用したり、広告の効果測定に活用したり、ユーザーの体調を把握したりと応用の幅が期待されている技術でもあります。