Seamless

V i r t u a l R e a l i t y

カーネギー・メロン大学、頭に取り付けた1台のカメラからの一人称視点映像で本人の3Dポーズを推定する模倣学習を用いた手法を発表

カーネギー・メロン大学の研究者らは、頭に取り付けた1台のカメラからの映像で自己の3Dポーズを推定する手法を発表しました。

論文:3D Ego-Pose Estimation via Imitation Learning
著者:Ye Yuan, Kris Kitani

本論文は、頭部装着型の単一ウェアラブルカメラで教師となる人の行動をもとに学習する模倣学習(Imitation Learning)を用いて、人の3Dポーズを推定する手法を提案します。

本提案手法は、頭部装着型カメラで撮影した映像を用いて、人の身体的に有効な3次元姿勢推定を行う目的で、モーションキャプチャデータ、ヒューマノイドモデル、物理シミュレータを活用した模倣学習法を採用します。

歩行や走行などのモーションキャプチャデータから模倣学習フレームワークGAIL(Generative Adversarial imitation Learing)を用いて学習し、物理シミュレーションでモデル化するところから始まり、GAIL(VGAIL)アルゴリズムを用いて、関節の動きにマップする姿勢推定のためのビデオコンディションポリシーを学習します。

このことで、頭の上にあるカメラ1台からキャプチャした一人称視点データを用いて、人間の歩行の姿勢を推定することを可能にします。