清華大学、2台の深度カメラから手と物体のやり取りをより正確にかつリアルタイムに再構築する手法を発表。物体の凹み具合も再現

清華大学による研究チームは、2台の深度カメラを用いて、手とオブジェクトのやり取りをリアルタイム且つより正確に再構築する新しいアプローチを発表しました。

論文：InteractionFusion: Real-time Reconstruction of Hand Poses andDeformable Objects in Hand-object Interactions

HAO ZHANG, BNRist and School of Software, Tsinghua University, China
ZI-HAO BO, BNRist and School of Software, Tsinghua University, China
JUN-HAI YONG, BNRist and School of Software, Tsinghua University, China
FENG XU, BNRist and School of Software, Tsinghua University, China

手がオブジェクトと相互作用する様子をリアルタイムに再構築する場合、オブジェクトなしと比べオクルージョンがより重くなるため、比例して不安定さも増加します。

この不安定さに挑戦するために、別角度から捉える2台の深度カメラを用いてより正確なトラッキングを実現します。具体的には、反対方向に設置した2台の深度カメラから手とオブジェクトのモーションをキャプチャします。

続けてDeep Neural Network（DNN）を訓練して、キャプチャしたペアの深度データから手とオブジェクトをセグメント化します。これにより、次の追跡ステップで相互の干渉を回避できます。続けて、Long Short Term Memory（LSTM）ネットワークを訓練して、前フレームから次フレームの手の姿勢を推定します。最後に、生成モデルでは2フレーム情報を融合し、より正確な再構築を行います。