コートダジュール大学、INRIA、Adobe、UCバークレーによる研究チームは、屋外画像の光を変更、制御できるマルチビューリライティングシステムを発表しました。
論文：Multi-view Relighting Using a Geometry-Aware Network
JULIEN PHILIP（Université Côte d’Azur and Inria）
MICHAËL GHARBI（Adobe）
TINGHUI ZHOU（UC Berkeley）
ALEXEI A. EFROS（UC Berkeley）
GEORGE DRETTAKIS（Université Côte d’Azur and Inria）
本論文は、屋外シーンの光を制御できるネットワークを用いた手法を提案します。屋外画像の光を変更するには、太陽の位置、それによる影の位置を再構築する必要があります。本提案は、複数視点による屋外シーン画像データセットを入力に、参照画像にライティング条件をマッピングするようにニューラルネットワークを訓練します。学習は、合成した写実的な画像データセットを使用します。
訓練したシステムは、「Image-based rendering（IBR）」や写真測量法といった従来のマルチビューパイプラインにも適応できます。さらに応用として、例えばドローンで撮影したビデオを動的に再表示することによってタイムラプスを生成したり、画像が一枚しかない場合に、オンライン上にある同じ場所の画像から照明を再構築することなども可能にします。