カリフォルニア大学バークレー校、MPI for Intelligent Systems、メリーランド大学カレッジパーク校の研究者らは、機械学習を用いて単一の画像から人の全身3Dメッシュモデルを再構成するためのEnd-to-endのフレームワーク「HMR（Human Mesh Recovery）」を提案した論文を発表しました。
End-to-end Recovery of Human Shape and Pose
本稿では、2D画像の特徴から直接的に3Dモデルを推論します。
自然な人間の姿勢において広範囲のボディ形状を正確に表現することができる人体学習モデル「SMPL（Skinned Multi-Person Linear Model）」を使用します。
敵対的学習を採用し、生成した3Dモデルに対して、識別器がリアルな人間かそうでないかのyes/noを判断するトレーニングを実行し精度を向上させていきます。
（本提案手法の概要）
このことで、不自然な関節の曲がり方をしない角度制限や、細すぎる体など不自然な体型にしない制限などを学習し、より自然な人体3Dモデルを生成することを可能にします。
また、リアルタイムにも実行することができ、OpenPoseを検出器として映像内で動く人の3Dモデルを生成することも可能にします。
関連
英国ノッティンガム大学等、1枚の2D顔写真から3D顔モデルを機械学習を用いて作成するアルゴリズムを論文にて公開。任意の顔画像ですぐ試せるオンラインデモあり | Seamless