ミュンヘン工科大学など、複数視点の画像から、その物体の3D再構成をより写実的に生成する手法「IGNOR」発表

ミュンヘン工科大学などによる研究チームは、複数視点の画像から、その物体の3D再構成をより写実的に生成する学習ベースのアプローチ「IGNOR(Image-guided Neural Object Rendering)」を発表しました。

論文:IGNOR: Image-guided Neural Object Rendering

著者:Justus Thies, Michael Zollhöfer, Christian Theobalt, Marc Stamminger, Matthias Nießner
所属:Technical University of Munich, Stanford University, Max Planck Institute for Informatics, University of Erlangen-Nuremberg

本論文は、多視点画像のセットを入力に、deep learningを用いてオブジェクトを再レンダリングする手法を提案します。本提案手法は、従来のテクスチャマッピングや手作業による画像ベースのレンダリングをする代わりに、deep learningで直接学習することで、ちらつき等のアーチファクトを軽減した高品質の画像を生成します。

前処理後は、2つのネットワークで構成されたパイプラインで実行されます。「EffectsNet」と呼ぶネットワークでは、視点依存の鏡面ハイライトや反射などのエフェクトを推定します。「CompositionNet」と呼ぶネットワークでは、データが欠落している領域を塗りつぶすなど含め、複数の再構成された画像を組み合わせ合成します。

 

ABOUT

 本サイト(Seamless/シームレス)は、2014年に始めた先端テクノロジーの研究を論文ベースで記事にしているWebメディアです。山下が個人で運営し、執筆を行っています。現在は主に寄稿(ITmedia NEWS)と、Seamless Journalに専念しています。

連絡先:yamashita(at)seamless.jp
Subscribe:TwitterFacebookHatenaNewsPicks

ゲスト連載:プロジェクションマッピング技術の変遷 岩井大輔

 Seamless Journalとは、月額10ドルの課金で厳選した最新論文がほぼ毎日メールボックスに届くというものです。記事にならない気になる論文をお届けします。決済はPatreonを介して、クレジットカードおよびPayPalで行え、解約も同サービスからいつでも可能です。お申し込みはこちらから

ページ上部へ戻る