南カリフォルニア大学、USC Institute for Creative Technologies、Pinscreen、Snapの研究者らは、複数台のRGBセンサのキャプチャで、deep learningを用いて服を着た人体の全身運動を再構築するパフォーマンスキャプチャシステムを発表しました。
論文：Deep Volumetric Video From Very Sparse Multi-View Performance Capture
著者：Zeng Huang, Tianye Li, Weikai Chen, Yajie Zhao, Jun Xing, Chloe LeGendre, Linjie Luo, Chongyang Ma, Hao Li
本論文は、複数台（3-4台）のRGBセンサでさまざまな角度から全身運動をキャプチャし、再構築するCNN（Convolutional Neural Network）を用いた手法を提案します。
これにより、特殊なトラッキングハードウェアや、手動画像処理、人体テンプレートなどを必要とせずに、手軽に全身の動きを再構築することができます。
動画では、主に4視点からキャプチャした出力結果を示しており、既存の類似研究に比べて精度比較している様子を確認することができます。