ドイツの研究機関「Max Planck Institute for Intelligent Systems（MPI-IS）」は、フルボディモーションキャプチャのパフォーマンスで、よりリアリティのある手のモデルを構築する手法「Embodied Hands」を論文にて発表しました。
Embodied Hands: Modeling and Capturing Hands and Bodies Together（PDF）
（黄色：既存4Dスキャン。ピンク：本手法。黄色よりピンクの方が手がはっきり表現されているのが確認できる。）
VR/ARでは、リアルな動きをするキャラクターやアバターの必要性が高まっており、フルボディモーションキャプチャ技術が向上していますが、得てして手の詳細な動きはボディから切り離してトラッキングされます。
それは、全身のキャプチャだと詳細な手の動きを表現することができないからです。しかし、人間は体と手を同時に動かしコミュニケーションを表現することから、切り離さないことがより自然に、よりリアルに再構築するアプローチと考えられます。
そこで、本稿では、フルボディモーションキャプチャのパフォーマンスで以前には見られなかったリアルな手の動きで自然に動作するフルボディモデルを構築する手法を提案します。
ノイズやオクルージョンなどに対応するため、MANO（関節モデルと非剛体モデルを含むモデル）と呼ばれる新しいモデルを開発し、3Dボディモデル（SMPL）を組み合わせることで、手と体が相互作用するモデル（SMPL+H）をもたらします。
SMPL+H モデルは、4Dスキャナーでキャプチャされた被写体の動作を自動的にフィッティングし、はっきりと表現される手の動きをするフルボディモデルを作成することを可能にします。
関連
Microsoft Research、HoloLens越しに等身大の相手とのリアルタイム遠隔対話「Holoportation」の映像を公開 | Seamless