MPI-Inf、ザールラント大学、レイ・ファン・カルロス大学による研究チームは、重なり合いながら動く両手を1台の深度カメラのみから正確且つリアルタイムに再構築する手法を発表しました。
論文:Real-time Pose and Shape Reconstruction of Two Interacting Hands With a Single Depth Camera
Franziska Mueller1,2Micah Davis3Florian Bernard1,2Oleksandr Sotnychenko1,2Mickeal Verschoor3Miguel A. Otaduy3Dan Casas3Christian Theobalt1,2
1Max Planck Institute for Informatics (GVV Group) 2Saarland Informatics Campus3Universidad Rey Juan Carlos
マーカーなしに手の動きをリアルタイムにトラッキングする場合、RGBカメラや深度カメラを使った研究が注目されています。手軽さのメリットがある一方で、動く両手を同時に捉えた場合、重なり合ったりなどすると不安定になる課題が残されています。そこで本研究では、絡み合う両手の追跡を高精度に推定するマーカーレスの手法を提案します。
本提案は、単一の深度カメラを用いて、複雑な動きを伴う2つの手を正確に追跡すると同時に、両手による衝突を処理し手の形も推定します。手法としては、手の姿勢と形状パラメータを最適化するフレームワークと、入力である深度画像から両手のマップを計算するニューラルネットワークを組み合わせることで行います。また物理ベースのシミュレーションを活用して、両手の注釈付き合成トレーニングデータも作成しました。