カリフォルニア大学サンディエゴ校とGoogleによる研究チームは、スマートフォン内蔵カメラで撮影した1枚のポートレート画像をLight Stageとニューラルネットワークを用いて照明環境を調整するリライティング法を発表しました。
論文：Single Image Portrait Relighting
TIANCHENG SUN, University of California, San Diego
JONATHAN T. BARRON and YUN-TA TSAI, Google Research
ZEXIANG XU, University of California, San Diego
XUEMING YU, GRAHAM FYFFE, CHRISTOPH RHEMANN, JAY BUSCH, and PAUL DEBEVEC, Google
RAVI RAMAMOORTHI, University of California, San Diego
本論文は、スマートフォン内蔵カメラで撮影した単一RGB画像（自然で制約のない照明環境下で撮影された人物画像）と、ユーザ指定のターゲット照明環境を入力に、その被写体のリライティング画像を生成するニューラルネットワークを用いた手法を提案します。本提案は、単一の入力画像とターゲット照明環境からリライティング画像を直接予測する単一のエンコーダ – デコーダニューラルネットワークを用います。
訓練データセットには、Light Stageで撮影した18人のデータベースを使用。LightStageとは、全方位に331個の照明と複数カメラで構成された直径3.5mの球形ドーム型キャプチャシステムです。大量の照明を制御しながら複数の視点で顔の形状や質感を高品質に取得できます。そんなLightStageでキャプチャしたデータセットを活用し、ユーザが指定した環境マップに対応する照明環境バーションの画像を生成するモデルを訓練します。実際の照明データで訓練できるため、顔という複雑なジオメトリに対応した反射を細かく再構築します。