南カリフォルニア大学と、ドイツの研究機関「Max Planck Institute for Intelligent Systems（MPI-IS）」などの研究者らは、高品質でありながら容易に作成できる顔の3Dモデリングを可能にするアルゴリズム「FLAME」を発表しました。
Learning a model of facial shape and expression from 4D scans（PDF）
顔の3Dモデリングの分野は、ハイエンドとローエンドの方法に大きなギャップがあり、ハイエンドでは、現実の人間と区別がつきませんが手作業の手間がかかり、ローエンドでは、消費者向け深度センサからのキャプチャで表現力不足のモデルになりがちです。
そこで、本稿では多くの3Dスキャンから顔のモデルを学習することにより、クオリティが高く作成しやすいその中間を提案します。
CAESARボディデータセット、D3DFACSデータセット、自己取得からの33,000以上の3Dスキャンからモデルを訓練しました。
回転中に首がどのように変形するかを取得するために、首と頭を一緒にモデル化したり、眼球のブレンドシェイプを学習することで、リアリティを向上させています。
学んだモデルは、一般的なフェイスモデルよりも表現力豊かで現実的という報告をします。
それでいて、計算効率が良く、既存のゲームおよびレンダリングエンジンと互換性を保つために、比較的低い頂点ベースで定義し、リアルタイムアプリケーションにも適応できるようにしています。
関連
ドイツの研究機関、60fpsで撮影した動きのある人の全身4Dスキャンデータセット「Dynamic FAUST」を論文にて公開。40,000個以上のメッシュを収集 | Seamless