Seamless

Virtual Reality News

Facebook Reality Labs、VRハンドトラッキングをリアルタイムに実行するCNNを用いたマーカベースの光学式モーションキャプチャシステムを発表

Facebook Reality Labsの研究者らは、VR内のハンドトラッキングをリアルタイムに実行するCNN(convolutional neural network)を用いたマーカベースの光学式モーションキャプチャシステムを発表しました。

論文:Online Optical Marker-based Hand Tracking with Deep Labels
著者:Shangchen Han, Beibei Liu, Robert Wang, Yuting Ye, Christopher D. Twigg, Kenrick Kin

本システムは、キャプチャデータをラベリングするためにCNNを用いて推定し、リアルタイムで手の姿勢を再構築することを可能にするアプローチです。各手袋には、19個のマーカが整備されており、16台のOptitrackカメラでキャプチャします。

データセットには、Kinectを用いて5人の被験者から収集した手のジェスチャ170,330フレームのポーズを使用しトレーニングします。実験では、オブジェクトの操作、両手のやりとり、楽器の演奏などのパフォーマンスをキャプチャし、リアルタイムのラベリングとトラッキングの安定性を実証、またオクルージョンやゴーストマーカなどに堅固であることも実証しました。

合成トレーニングデータと訓練されたモデルは公開されています。