筑波大学と豊橋技術科学大学の研究者らは、服を着た人の全身画像1枚とそのマスクから、CNN（Convolutional neural network）を用いて、どのような陰影（明るい部分や暗い部分）になるかを推定し再現する技術を発表しました。
論文：Relighting Humans: Occlusion-Aware Inverse Rendering for Full-Body Human Images/光の遮蔽を考慮した人物全身画像の逆レンダリング
著者：Yoshihiro Kanamori, Yuki Endo/金森 由博, 遠藤 結城
本論文は、ある照明環境下で撮影された被写体が、別の照明環境下でどのような陰影になるかを再現するCNNを用いた技術を提案します。
人物画像の再照明において、既存手法の多くは光が遮られて暗くなる現象を無視しているため、推定された形状は歪み、脇、股や服のシワなどの凹みが不自然に明るくなってしまいます。そこで本論文では、光が遮られる現象まで含めて陰影の計算を定式化し、CNN による推定を行うことで、この課題を解決します。
本提案手法は、単一視点の人物画像とそのマスクから、CNNを用いて、色、形状、照明を推定し陰影を再現します。反射率や照明だけでなく、画素ごとに光の遮蔽を9次元の球面調和関数 (spherical harmonics; SH) の係数として符号化した光伝達マップも推定します。訓練には、CG人物モデルを使って構築した逆レンダリング用のデータセットを用います。
これにより、様々な照明環境下で、人物画像の再照明をより写実的に実現します。