慶應義塾大学と産業技術総合研究所の研究者らは、人間が物体をつかむ際の手の位置姿勢（把持姿勢）を計測して3D復元するシステムを論文にて発表しました。
組み込み型カメラによる把持動作の計測
Measuring Grasp Posture Using an Embedded Camera
著者：柏木直諒，杉浦裕太，宮田なつき，多田充徳，杉本麻樹，斎藤英雄
本稿は、筒状物体の蓋の上面に魚眼レンズを装着したカメラを設置し、把持した手の内側から撮影した画像を用いて蓋を開ける際の手の動作を3D復元する技術を提案します。
カメラは、缶やペットボトル、ドアノブといった円筒状の物体の蓋の上端面に組み込むことで、ユーザが蓋を開ける際の手のひらを撮影します。
この画像に、各種処理（肌色抽出、手の輪郭抽出、指位置検出、各指のラベリング）を加えることで蓋を把持している手の指を画像上で検出します。
そして、物体形状が既知で把持の類型が決まっていることから画像上での指の2次元座標を元に、指と物体の接触位置を3次元座標で算出し、デジタルハンドモデルと組み合わせることで、計算機上で手全体の把持姿勢を推定します。
このことで、物体に対する人間の把持姿勢を3D復元することを可能にします。
応用として、野球ボールの把持姿勢を表示するアプリケーションも開発し、熟練者のボールを握る姿勢を参考に持ち方のトレーニングに使えるとします。また、製品の試作時に、表面が透明で内部が中空の物体を3Dプリントできれば、その結果から、製品の改良ができることも考えられると述べます。
関連
慶應ら、手指を動かした時の手の甲の皮膚変形を計測し機械学習で推定することでハンドジェスチャを認識する手法を論文にて発表 | Seamless