北京航空航天大学など、1台の深度カメラから人と着衣の動きを3D再構築するライブキャプチャ法「SimulCap」発表。隠れた部分もシミュレート

北京航空航天大学と清華大学、MPI-Infによる研究チームは、1台の深度カメラを用いて着衣含めた人の動きを3D再構築するライブパフォーマンスキャプチャ「SimulCap」を発表しました。

論文:SimulCap : Single-View Human Performance Capture with Cloth Simulation

著者:Tao Yu, Zerong Zheng, Yuan Zhong, Jianhui Zhao, Qionghai Dai, Gerard Pons-Moll, Yebin Liu
所属:Beihang University, Tsinghua University, Max-Planck-Institute for Informatics

本論文は、単一のRGBDカメラを使用して、着ている衣服の動きを含めた人の動作を3D再構築するリアルタイム・パフォーマンスキャプチャを提案します。本提案は、1台のRGBDカメラから、物理的制約を取り入れながら人体の動き(パフォーマンスキャプチャ)と衣服の動き(物理ベースのシミュレーション)を別々に追跡し組み合わせることで再構築(隠れた部分含む)するライブキャプチャ法です。

具体的には、まずDoubleFusionを使用して服を着た体と服を着ていない体の表面を同時に捉える「Double-Layer Surface Reconstruction」と、服を着ていない体の動きと布の動的な深度データを追跡する「MultiLayer Avatar Generation」を使用して多層アバターを生成します。

衣服の変形は、その下の身体骨格の動きを捉えることで追跡することができ、そこへ衣服本体の動く深度を合わせることで、物理的制約を維持しながら動きにあった布シミュレーションを生成します。さらに、このことでカメラには映らない隠れた布部分の動きもシミュレートします。布シミュレーションには、Force-Based Mass-Springの拡張法が用いられます。

これらのことにより、1台の深度カメラから、着衣する衣服の動きを含めた人の動きを再現することができ、また見えない隠れた部分も同時にシミュレートするリアルアバターを構築することを可能にします。