Seamless

V i r t u a l R e a l i t y

単眼カメラで撮影した映像を入力に、人の姿勢推定から着用する衣服まで再構築するマーカレスパフォーマンスキャプチャ技術を発表

独マックス・プランク情報科学研究所(Max Planck Institute for Informatics)とスイス連邦工科大学ローザンヌ校(EPFL)の研究者らは、1台の単眼カメラで撮影した映像を入力に、人間のポーズから着用する衣服までを3D再構築するマーカレスパフォーマンスキャプチャ技術「MonoPerfCap」を発表しました。

論文:MonoPerfCap: Human Performance Capture from Monocular Video
著者:Weipeng Xu, Avishek Chatterjee, Michael Zollhoefer, Helge Rhodin, Dushyant Mehta, Hans-Peter Seidel, Christian Theobalt

本稿は、単眼カメラから撮影した映像を基に、人間の関節動作からスキンや衣服の非剛体変更までを再構成するCNN(convolutional neural network )を用いたマーカレスパフォーマンスキャプチャシステムを提案します。

本提案手法は、Batchベースの3Dポーズ推定と、シルエットベースのポーズ及びサーフェスのリファインメントによる2ステップに基づいています。メッシュは、予め人物を静的姿勢で撮影し取得したものを使用します。

本提案手法を用いることで、人の姿勢推定だけでなく、着用する衣服などの動きも再構築することができ、自由な視点でレンダリングすることを可能にします。ただし、高速な動きや強力なオクルージョンは不安定になります。(隠れたパーツが再度見えると回復はします。)

今後の研究としては、本提案手法におけるリアルタイムソリューションを課題としています。