Facebook Reality Labs、VRデバイス装着者の顔の表情をリアルタイムにアバターへ反映させるシステムを発表

Facebook Reality Labsによる研究チームは、VRプレイヤーの顔の動きをリアルタイムに再構築するシステムを発表しました。

論文:VR Facial Animation via Multiview Image Translation

SHIH-EN WEI, JASON SARAGIH, TOMAS SIMON, ADAM W. HARLEY∗, STEPHEN LOMBARDI,MICHAL PERDOCH, ALEXANDER HYPES, DAWEI WANG, HERNAN BADINO, and YASER SHEIKH
Facebook Reality Labs
∗Currently at Carnegie Mellon University, work done while at Facebook Reality Labs.

ソーシャルVRにおいて、リアルアバターを使用することは一部で求められています。そこで本研究は、その一助としてヘッドセットマウントカメラ(Headset mounted cameras , HMC)を用いたVRリアルタイム顔面アニメーションシステムを提案します。

本提案は、VRプレイヤーから顔の動きをリアルタイムに再現するためエンドツーエンドの学習を行います。訓練用に、HMD内側に装備した9個(目周辺用に4個、口周辺用に5個)のカメラにより目や口を含む顔全体の表情をキャプチャします。また、訓練用とは別に、使用時に用いるヘッドセットマウントカメラは3個と最小限に留めた構成のHMDを使用します。

(a) 訓練用のカメラ9個が備わったヘッドセットマウントカメラ。(b) 実際の使用時に用いるカメラ3個のヘッドセットマウントカメラ

本研究は、ヘッドセットマウントカメラを用いて、双方間の顔アニメーションをリアルタイムに送信し合うVR向けシステムを実証しました。精度も高く、カメラも最小限に抑えた効率的なシステムを実現します。動画では、リアルアバターで動作している顔を確認できます。