ワシントン大学とFacebookの研究チームは、1枚の写真から画像内の人の3Dアニメーションを生成するARシステムを発表しました。
論文：Photo Wake-Up: 3D Character Animation from a Single Photo
著者：Chung-Yi Weng, Brian Curless, Ira Kemelmacher-Shlizerman
所属：University of Washington, Facebook
本論文は、単一の画像内に人の3Dアニメーションを生成する手法を提案します。本提案手法は、2D画像入力から3Dモデルを再構成するにあたって、人間の検出、セグメンテーション、2D姿勢推定を行うアルゴリズムを適用し、リグメッシュを構築するアプローチを採用します。
具体的には、Mask R-CNNを用いて人物検出とセグメンテーションを行い、 Convolutional pose machinesを用いて2D姿勢推定を行い、Dense CRFを用いてセグメンテーションの精度を高め、SMPLノーマル/スキニングマップを出力にWarpし、デプスマップとスキニングマップを結合し3Dメッシュを作成します。
そして、人物を写真から分離させることで生じる背景領域を埋めるようにシミュレートすることで抜けた後でも自然な写真を保持します。これらのことで、あたかも人が写真から飛び出してくるような表現を再現することができます。