MPI-Infなど、1台の深度カメラを用いて絡み合う両手をより正確かつリアルタイムに再構築する手法を発表

MPI-Inf、ザールラント大学、レイ・ファン・カルロス大学による研究チームは、重なり合いながら動く両手を1台の深度カメラのみから正確且つリアルタイムに再構築する手法を発表しました。

論文：Real-time Pose and Shape Reconstruction of Two Interacting Hands With a Single Depth Camera

Franziska Mueller^1,2Micah Davis³Florian Bernard^1,2Oleksandr Sotnychenko^1,2Mickeal Verschoor³Miguel A. Otaduy³Dan Casas³Christian Theobalt^1,2
1Max Planck Institute for Informatics (GVV Group)   ²Saarland Informatics Campus³Universidad Rey Juan Carlos

マーカーなしに手の動きをリアルタイムにトラッキングする場合、RGBカメラや深度カメラを使った研究が注目されています。手軽さのメリットがある一方で、動く両手を同時に捉えた場合、重なり合ったりなどすると不安定になる課題が残されています。そこで本研究では、絡み合う両手の追跡を高精度に推定するマーカーレスの手法を提案します。

本提案は、単一の深度カメラを用いて、複雑な動きを伴う2つの手を正確に追跡すると同時に、両手による衝突を処理し手の形も推定します。手法としては、手の姿勢と形状パラメータを最適化するフレームワークと、入力である深度画像から両手のマップを計算するニューラルネットワークを組み合わせることで行います。また物理ベースのシミュレーションを活用して、両手の注釈付き合成トレーニングデータも作成しました。