Facebook Reality Labs、VRハンドトラッキングをリアルタイムに実行するCNNを用いたマーカベースの光学式モーションキャプチャシステムを発表

Facebook Reality Labsの研究者らは、VR内のハンドトラッキングをリアルタイムに実行するCNN(convolutional neural network)を用いたマーカベースの光学式モーションキャプチャシステムを発表しました。

論文:Online Optical Marker-based Hand Tracking with Deep Labels
著者:Shangchen Han, Beibei Liu, Robert Wang, Yuting Ye, Christopher D. Twigg, Kenrick Kin

本システムは、キャプチャデータをラベリングするためにCNNを用いて推定し、リアルタイムで手の姿勢を再構築することを可能にするアプローチです。各手袋には、19個のマーカが整備されており、16台のOptitrackカメラでキャプチャします。

データセットには、Kinectを用いて5人の被験者から収集した手のジェスチャ170,330フレームのポーズを使用しトレーニングします。実験では、オブジェクトの操作、両手のやりとり、楽器の演奏などのパフォーマンスをキャプチャし、リアルタイムのラベリングとトラッキングの安定性を実証、またオクルージョンやゴーストマーカなどに堅固であることも実証しました。

合成トレーニングデータと訓練されたモデルは公開されています。

About

テクノロジーの最新研究を紹介するWebメディア。山下が個人運営と執筆を行う(連載除く)。ITmedia NEWSさんでも執筆中。Seamlessをサポートできるプログラムも実施中。

yamashita.mailer(a)gmail.com

連載

ページ上部へ戻る