Seamless

V i r t u a l R e a l i t y

MPI-Infと香港大学ら、高品質な人体3Dモデルを必要とせずに、ユーザ制御下の写実的なリアルアバタを生成するGANを用いた手法を発表

独マックス・プランク情報科学研究所(Max Planck Institute for Informatics/MPI-Inf)、香港大学、スタンフォード大学の研究者らは、人の高品質な3Dモデルを必要とせずに、ユーザ制御下の写実的なリアルアバタを生成するconditional GAN(generative adversarial network)を用いた手法を発表しました。

論文:Neural Animation and Reenactment of Human Actor Videos
著者:Lingjie Liu, Weipeng Xu, Michael Zollhoefer, Hyeongwoo Kim, Florian Bernard, Marc Habermann, Wenping Wang, Christian Theobalt

本論文は、人間のフォトリアリスティックな3Dモデルを必要とせずに、ユーザ制御下の実際の人間に近いアニメーションを生成するconditional GANを用いた手法を提案します。

ターゲットとなる人の静止画を異なる視点からカメラでキャプチャし、3Dキャラクタモデルを作成します。単眼カメラからのモーションデータを使用して3Dキャラクタモデルを操縦します。

3Dキャラクタモデルを現実的な画像に変換するニューラルネットワークを訓練することで、最終的に、動きのある写実的な人物を生成します。以下の図は、キャラクタから画像に変換する概略図です。

これらのことで、自分をベースとしたアバタを作成できるほか、別の人をベースにしたキャラクタも作成することを可能にします。

また、3Dモデルに基づく従来のレンダリング手法と比較して、制作コストを大幅に削減し、ユーザコントロール下のリアルなキャラクタを効率的に生成、演出することを可能にします。