独マックス・プランク情報科学研究所（Max Planck Institute for Informatics）、スタンフォード大学、ミュンヘン工科大学、バース大学の研究者らは、1枚の画像を入力に、顔の姿勢、形状、反射率、照明を推定し再構築する機械学習を用いた手法「InverseFaceNet」を発表しました。
論文：InverseFaceNet:Deep Single-Shot Inverse Face Rendering From A Single Image
著者：Hyeongwoo Kim, Michael Zollhöfer, Ayush Tewari, Justus Thies, Christian Richardt, Christian Theobalt
インバースレンダリングとは、1枚もしくは複数枚の画像から物体形状や反射特性、光源分布を推定する描画手法で、本稿では、そんなインバースレンダリング法を用いて、顔のためのDeep learningフレームワークを提案します。
提案手法は、2D顔面から検出した66個のランドマークを用いて、背景から顔を分割し口の内部をマスクしたものを訓練されたネットワークに入力し実行します。より高品質に復元するため、トレーニングセットのパラメータを反復的に更新する自己監視型ブートストラップアプローチを適用しています。
これらのことで、1枚の画像から顔における反射、照明などのパラメータをすべて推定することができ、高品質な復元と同時に、外観の変更などの再編集を可能にします。