MIT CSAIL、Google Research、UC Berkeleyの研究者らは、動画内で動作する人の軌跡を3Dモーション彫刻としてインタラクティブに生成するシステム「MoSculp」を発表しました。
論文：MoSculp: Interactive Visualization of Shape and Time
著者：Xiuming Zhang, Tali Dekel, Tianfan Xue, Andrew Owens, Qiurui He, Jiajun Wu, Stefanie Mueller, William T. Freeman
a：入力動画。b：人の動きの経路。c：仮想シーンへレンダリング。d：3Dプリントとして出力
本論文は、ビデオのみを入力に、人間の連続的な動き（道筋）を視覚化するエンドツーエンドの3Dモーション彫刻技術を提案します。
本提案手法は、ビデオ内の人の動きが時間の経過とともに変形する体の姿勢と形状を推定します。具体的には、動画から身体部位の2Dキーポイントを自動的に検出し、人間の3Dボディモデルを推定し、時間の経過と共に姿勢を変えます。そして、この3D形状をもとに、モーション彫刻を生成します。
最後に、入力ビデオと共に3Dモーション彫刻をレンダリングし、視覚化を実現させます。また、ユーザはレンダリングをカスタマイズすることができ、関心のある身体部位を選択したり、材料を変えたり加えたり、照明を変えたり、背景を加えたりを可能にします。
論文では、バレエ、テニス、ランニング、フェンシングなどの動画でシステムがテストされ、複雑な人間の行動を3Dモーション彫刻にすることを実証しました。