Seamless

V i r t u a l R e a l i t y

筑波大学ら、1枚の着衣全身画像とマスクから、別の照明環境下でその人物の陰影がどのようになるかを、より写実的に再現するCNNを用いた手法を発表

筑波大学と豊橋技術科学大学の研究者らは、服を着た人の全身画像1枚とそのマスクから、CNN(Convolutional neural network)を用いて、どのような陰影(明るい部分や暗い部分)になるかを推定し再現する技術を発表しました。

論文:Relighting Humans: Occlusion-Aware Inverse Rendering for Full-Body Human Images/光の遮蔽を考慮した人物全身画像の逆レンダリング
著者:Yoshihiro Kanamori, Yuki Endo/金森 由博, 遠藤 結城

本論文は、ある照明環境下で撮影された被写体が、別の照明環境下でどのような陰影になるかを再現するCNNを用いた技術を提案します。

人物画像の再照明において、既存手法の多くは光が遮られて暗くなる現象を無視しているため、推定された形状は歪み、脇、股や服のシワなどの凹みが不自然に明るくなってしまいます。そこで本論文では、光が遮られる現象まで含めて陰影の計算を定式化し、CNN による推定を行うことで、この課題を解決します。

本提案手法は、単一視点の人物画像とそのマスクから、CNNを用いて、色、形状、照明を推定し陰影を再現します。反射率や照明だけでなく、画素ごとに光の遮蔽を9次元の球面調和関数 (spherical harmonics; SH) の係数として符号化した光伝達マップも推定します。訓練には、CG人物モデルを使って構築した逆レンダリング用のデータセットを用います。

これにより、様々な照明環境下で、人物画像の再照明をより写実的に実現します。