ミュンヘン工科大学など、複数視点の画像から、その物体の3D再構成をより写実的に生成する手法「IGNOR」発表

ミュンヘン工科大学などによる研究チームは、複数視点の画像から、その物体の3D再構成をより写実的に生成する学習ベースのアプローチ「IGNOR(Image-guided Neural Object Rendering)」を発表しました。

論文:IGNOR: Image-guided Neural Object Rendering

著者:Justus Thies, Michael Zollhöfer, Christian Theobalt, Marc Stamminger, Matthias Nießner
所属:Technical University of Munich, Stanford University, Max Planck Institute for Informatics, University of Erlangen-Nuremberg

本論文は、多視点画像のセットを入力に、deep learningを用いてオブジェクトを再レンダリングする手法を提案します。本提案手法は、従来のテクスチャマッピングや手作業による画像ベースのレンダリングをする代わりに、deep learningで直接学習することで、ちらつき等のアーチファクトを軽減した高品質の画像を生成します。

前処理後は、2つのネットワークで構成されたパイプラインで実行されます。「EffectsNet」と呼ぶネットワークでは、視点依存の鏡面ハイライトや反射などのエフェクトを推定します。「CompositionNet」と呼ぶネットワークでは、データが欠落している領域を塗りつぶすなど含め、複数の再構成された画像を組み合わせ合成します。