清華大学と北京航空航天大学の研究者らは、単一のRGB-Dカメラを使用して、詳細なジオメトリモデル、表面のアルベト(色の反射情報)、フレームごとの非剛体モーションなどを捉え、同時にそれらをリアルタイムにレンダリングするメソッドを提案した論文を公開しました(PDF)。
動き推定のために外観情報を活用するシェーディングベースのスキームが提案されており、また、再構成された動きを使用して、複数のフレームからの情報を組み込むことによってシーンの内面的な外観を完成させ、精緻化するアルベド融合スキームが提案されます。
この2つの方式が記録中に反復的に適用されるので、再構成された外観および動きはますます正確になるとしています。
論文はこちら(PDF)。