Facebook Reality Labsの研究者らは、VR内のハンドトラッキングをリアルタイムに実行するCNN（convolutional neural network）を用いたマーカベースの光学式モーションキャプチャシステムを発表しました。
論文：Online Optical Marker-based Hand Tracking with Deep Labels
著者：Shangchen Han, Beibei Liu, Robert Wang, Yuting Ye, Christopher D. Twigg, Kenrick Kin
本システムは、キャプチャデータをラベリングするためにCNNを用いて推定し、リアルタイムで手の姿勢を再構築することを可能にするアプローチです。各手袋には、19個のマーカが整備されており、16台のOptitrackカメラでキャプチャします。
データセットには、Kinectを用いて5人の被験者から収集した手のジェスチャ170,330フレームのポーズを使用しトレーニングします。実験では、オブジェクトの操作、両手のやりとり、楽器の演奏などのパフォーマンスをキャプチャし、リアルタイムのラベリングとトラッキングの安定性を実証、またオクルージョンやゴーストマーカなどに堅固であることも実証しました。
合成トレーニングデータと訓練されたモデルは公開されています。