MPI-Infとスタンフォード大学、1台のRGBカメラから着衣含め人の動きをリアルタイムに3D再構築するフルボディパフォーマンスキャプチャを発表

MPI-Infやスタンフォード大学の研究チームは、単一のカメラで撮影した映像から、ゆったりと着用する衣服を含めた人の動きをリアルタイムに3D再構築する機械学習を用いたフルボディパフォーマンスキャプチャシステム「LiveCap」を発表しました。

論文:LiveCap: Real-time Human Performance Capture from Monocular Video

著者:Marc Habermann, Weipeng Xu, Michael Zollhoefer, Gerard Pons-Moll, Christian Theobalt
所属:Max Planck Institute for Informatics, Stanford University

本論文は、単眼カメラで撮影したRGBビデオを入力に、着衣含めて人の動きを再構築するマーカレスパフォーマンスキャプチャアプローチを提案します。本提案手法は、姿勢推定と非剛体追跡の2段階パイプラインで構成されます。

第1段階(前処理)では、撮影したビデオを入力に、CNN(Convolutional Neural Network)を用いて2Dおよび3D骨格関節や顔ランドマーク検出から、3D姿勢を推定しテクスチャ付きアクターモデルテンプレートを作成します。

第2段階では、RGBデータからの非剛性分析、合成追跡のための新規なリアルタイム対応アルゴリズムを用いて、前処理段階で得られた形状テンプレートを活用し、肌および密着していない衣類の非剛性3D変形を生成します。

これにより、関節のある人の動きと、肌と衣服の非剛性の変形を自動的に推定することで、リアルタイムのフルボディパフォーマンスキャプチャを実現します。将来的には、1台のカメラから顔の表情、手の動き、髪の動きを同時に再構築したいとしています。

 

ABOUT

 本サイト(Seamless/シームレス)は、2014年に始めた先端テクノロジーの研究を論文ベースで記事にしているWebメディアです。山下が個人で運営し、執筆を行っています。現在は主に寄稿(ITmedia NEWS)と、Seamless Journalに専念しています。

連絡先:yamashita(at)seamless.jp
Subscribe:TwitterFacebookHatenaNewsPicks

ゲスト連載:プロジェクションマッピング技術の変遷 岩井大輔

 Seamless Journalとは、月額10ドルの課金で厳選した最新論文がほぼ毎日メールボックスに届くというものです。記事にならない気になる論文をお届けします。決済はPatreonを介して、クレジットカードおよびPayPalで行え、解約も同サービスからいつでも可能です。お申し込みはこちらから

ページ上部へ戻る