MPI-Infとスタンフォード大学、1台のRGBカメラから着衣含め人の動きをリアルタイムに3D再構築するフルボディパフォーマンスキャプチャを発表

MPI-Infやスタンフォード大学の研究チームは、単一のカメラで撮影した映像から、ゆったりと着用する衣服を含めた人の動きをリアルタイムに3D再構築する機械学習を用いたフルボディパフォーマンスキャプチャシステム「LiveCap」を発表しました。

論文:LiveCap: Real-time Human Performance Capture from Monocular Video

著者:Marc Habermann, Weipeng Xu, Michael Zollhoefer, Gerard Pons-Moll, Christian Theobalt
所属:Max Planck Institute for Informatics, Stanford University

本論文は、単眼カメラで撮影したRGBビデオを入力に、着衣含めて人の動きを再構築するマーカレスパフォーマンスキャプチャアプローチを提案します。本提案手法は、姿勢推定と非剛体追跡の2段階パイプラインで構成されます。

第1段階(前処理)では、撮影したビデオを入力に、CNN(Convolutional Neural Network)を用いて2Dおよび3D骨格関節や顔ランドマーク検出から、3D姿勢を推定しテクスチャ付きアクターモデルテンプレートを作成します。

第2段階では、RGBデータからの非剛性分析、合成追跡のための新規なリアルタイム対応アルゴリズムを用いて、前処理段階で得られた形状テンプレートを活用し、肌および密着していない衣類の非剛性3D変形を生成します。

これにより、関節のある人の動きと、肌と衣服の非剛性の変形を自動的に推定することで、リアルタイムのフルボディパフォーマンスキャプチャを実現します。将来的には、1台のカメラから顔の表情、手の動き、髪の動きを同時に再構築したいとしています。

 

About

テクノロジーの最新研究を紹介するWebメディア。山下が個人運営と執筆を行う(連載除く)。ITmedia NEWSさんでも執筆中。Seamlessをサポートできるプログラムも実施中。

yamashita.mailer(a)gmail.com

連載

ページ上部へ戻る