Seamless

Virtual Reality News

メニュー

ドイツの大学等、VRヘッドセット装着者の顔の表情や眼の動きを捉えリアルタイムに再構築する技術「FaceVR」を論文にて発表。HMD除去表示。他人の顔を制御等

ドイツ:フリードリヒ・アレクサンダー大学、米スタンフォード大学、ドイツの研究機関「Max Planck Institute for Intelligent Systems(MPI-IS)」の研究者たちは、VRヘッドセット装着者の顔の表情や目の動きをキャプチャし、リアルタイムに再構築する技術「FaceVR」を論文にて発表しました。

FaceVR: Real-Time Facial Reenactment and Eye Gaze Control in Virtual Reality(PDF)

FaceVRは、正面からRGB-Dセンサーで顔全体をキャプチャし、HMD内部のIRセンサーで眼球をトラッキングします。これらデータを使用して、リアルタイムに顔を制御し再レンダリングすることを可能にします。

例えば、ビデオチャットでの視線方向の再設定、ビデオストリームでのVRヘッドセット除去、顔コンテンツのフォトリアリスティック再レンダリングなど、さまざまな場面で活用することを可能にします。

また、技術デモでは、顔の表情と眼球の動きを他人の画像へリアルタイムに同期させ、眼や口を動作させる映像も公開されました。

 

関連

単一のカメラで顔の追跡を可能にするマーカーレス・リアルタイム・フェイシャルモーションキャプチャソフトウェア「Faceware Live 2.5」がリリース | Seamless

About

Seamless(シームレス)は、Virtual Realityの記事を主軸に更新しています。(詳細はこちら