スイス連邦工科大学ローザンヌ校、ビクトリア大学、Microsoft Hololens Researchの研究者らは、深度センサーにおけるリアルタイム・ハンドトラッキングを同時にキャリブレーションしながら継続実行できる新しいアルゴリズムを論文にて発表しました。
Online Generative Model Personalization for Hand Tracking（PDF）
深度センサーによるトラッキングをより正確にするには、追跡する前に、手の静的なポーズ （オフライン） をスキャンしテンプレートをキャリブレーションする方法があります。
ですが、コンシューマー向けアプリケーションには不向きであり欠点です。
そこで、本提案では、カメラの前でトラッキングしていると同時に、ジオメトリを学習しテンプレートをキャリブレーションするというオンラインモデル・キャリブレーションのためのパイプラインを提案します。
フレームごとの情報を統合し手の姿勢を推定しながら形状を精緻化するアルゴリズムですので、追跡中にユーザーの手と関節がより多く観察されるほど、テンプレートは一致するようにだんだんと適応され、より正確な動作追跡が得られます。
このことで、正確なハンドトラッキングのワークフローを簡素化し、コンシューマー向けアプリケーションに最適な完全自動のリアルタイム・ハンドトラッキングシステムを実現します。
本アプローチは、例えば全身追跡など、様々なタイプのキャリブレーションにも適用することができるとしています。
関連
ブリストル大学ら、超音波イメージングを使用して手のジェスチャーを感知するハンドトラッキング技術を発表。機械学習で筋肉の動きを分類 | Seamless