ヘッドマウンドディスプレイを装着しているVR体験者の顔をリアルタイムにフェイシャル・モーションキャプチャするアルゴリズム「Demo of FaceVR」がSIGGRAPH 2017に登場することが明らかになりました。
以前のプロジェクト「Face2Face」
本プロジェクトを行った研究チームは、以前、「Face2Face」という論文を公開しました。
Face2Faceとは、単一のカメラからキャプチャした顔の動きを別の人物の顔の表情に転送しフォトリアリスティックな形で再レンダリングする技術です。
ジョージブッシュ大統領やトランプ大統領、プーチン大統領の表情を自在にコントロールするデモ映像は一部で話題になりました。
今回のプロジェクト「Demo of FaceVR」
詳細は明らかにされていませんが、概要と1枚の画像だけで読み取るとこうです。
HMD着用者のリアルタイム・フェイシャルモーションキャプチャを実行すること、単一のカメラから視線追跡を行い別の人物の視線を制御することができること、顔や目の外観を人工的に変更し動かすことが可能ということ、VRゴーグルの除去、VRでの再現。
また、同時に公開されている画像を確認すると、HMDは見当たらないものの、男性の表情をRGB-Dカメラで表情を捉え、VRで見える女性に再構築している様子が描画されています。
本プロジェクトは、ドイツのエアランゲン・ニュルンベルク大学のJustus Thies氏とMarc Stamminger氏、ドイツの学術研究機関「マックス・プランク研究所」のMichael Zollhöfer氏とChristian Theobalt氏、米スタンフォード大学のMatthias Nießner氏たちで実行されました。
関連
チェコ工科大学、動く人の顔にデッサン風、銅像風、油絵風といったフィルターに合成させフェイシャル・アニメーションを完成させるAIアルゴリズムを発表 | Seamless