ドイツ：フリードリヒ・アレクサンダー大学、米スタンフォード大学、ドイツの研究機関「Max Planck Institute for Intelligent Systems（MPI-IS）」の研究者たちは、VRヘッドセット装着者の顔の表情や目の動きをキャプチャし、リアルタイムに再構築する技術「FaceVR」を論文にて発表しました。
FaceVR: Real-Time Facial Reenactment and Eye Gaze Control in Virtual Reality（PDF）
FaceVRは、正面からRGB-Dセンサーで顔全体をキャプチャし、HMD内部のIRセンサーで眼球をトラッキングします。これらデータを使用して、リアルタイムに顔を制御し再レンダリングすることを可能にします。
例えば、ビデオチャットでの視線方向の再設定、ビデオストリームでのVRヘッドセット除去、顔コンテンツのフォトリアリスティック再レンダリングなど、さまざまな場面で活用することを可能にします。
また、技術デモでは、顔の表情と眼球の動きを他人の画像へリアルタイムに同期させ、眼や口を動作させる映像も公開されました。
関連
単一のカメラで顔の追跡を可能にするマーカーレス・リアルタイム・フェイシャルモーションキャプチャソフトウェア「Faceware Live 2.5」がリリース | Seamless