カナダのラヴァル大学とAdobe Researchの研究者らは、機械学習を用いて室内シーンの単一のLDR(Low dynamic range、低ダイナミックレンジ)の写真からHDR(High dynamic range、高ダイナミックレンジ)照明を推定する自動方法を提案した論文を発表しました。
Learning to Predict Indoor Illumination from a Single Image
本稿は、1枚の室内LDR画像から畳み込みニューラルネットワーク(CNN)を用いてHDR照明を予測するエンドツーエンド手法を提案します。本提案手法は、2段階のCNNで実行されます。
(本提案手法のパイプライン)
まず、ネットワークを訓練するために、LDRパノラマのデータセットを使用し光源の位置方向を予測します。次に、HDRの新しいデータセットを使用して、ネットワークを微調整することで光の強度を予測します。
このことで、本手法で生成された推定値を用いて、写真に仮想オブジェクトをより現実的に再合成することを可能にします。以下の画像は、本手法を用いて3Dオブジェクトを再配置したサンプル群です。
(左が元の画像、右が3Dオブジェクトを再配置した画像)
関連
慶應、HoloLensなどの光学シースルーHMDで表示する半透明な仮想オブジェクトを実物のようにくっきり写す不透明描写手法を論文にて発表 | Seamless