Disney Researchなど、カラーカメラ4台、モノクロカメラ8台から、動的な顔をよりリアルに再構築するアプローチを発表

Disney Researchとインペリアル・カレッジ・ロンドンの研究チームは、動的な顔をより現実的にシミュレートするアプローチを発表しました。

論文:Practical Dynamic Facial Appearance Modeling and Acquisition
著者:Paulo Gotardo, Jérémy Riviere, Derek Bradley, Abhijeet Ghosh, Thabo Beeler
所属:Disney Research, Imperial College London

Credit:Disney Research

本論文は、複数台のカメラから取得した画像を用いて、動的な顔の肌を取得する手法を提案します。顔を現実的にレンダリングするためには、光が皮膚と相互作用する方法を忠実に再現することが必要です。

本提案手法では、皮膚の表面での反射を説明する角質層と、内部を説明する拡散層からなる2層を材料として皮膚をモデル化します。顔の表情と血流(ヘモグロビン濃度)の変化を考慮した拡散アルベドや、スペキュラ強度などを計算し、フレームごとのノーマルマップも構築します。そして、パフォーマンスキャプチャデータにモデルを適合させます。

顔を捉えるキャプチャシステムは、Multi-View Stereoジオメトリを再構成するためのモノクロカメラ8台と、外観キャプチャ用のカラーカメラ4台、合計12台のカメラで構成し、これらからテクスチャを計算します。このように、本提案手法は、数台のカメラから以下のようなよりリアルな顔の表情を再構築することを可能にします。

Credit:Disney Research

Source: Disney Research