セント・アンドルーズ大学など、手首装着型デバイスのカメラを用いて「手の甲」からハンドジェスチャやポーズを認識するDeep learningを用いた技術を発表

セント・アンドルーズ大学、東京工業大学、韓国科学技術院による研究チームは、手首に取り付けたカメラを使用して、手の甲から手のポーズやジェスチャを認識するDeep learningを用いたインターフェース技術を発表しました。

論文：Opisthenar: Hand Poses and Finger Tapping Recognitionby Observing Back of Hand Using Embedded Wrist Camera

Hui-Shyong Yeo（University of St Andrews, Fife, United Kingdom）
Erwin Wu（Tokyo Institute of Technology, Tokyo, Japan）
Juyoung Lee（Korea Advanced Institute of Science and Technology, Daejeon, Republic of Korea）
Aaron Quigley（University of St Andrews, St Andrews, United Kingdom）
Hideki Koike（Tokyo Institute of Technology, Tokyo, Japan）

本研究は、手首に取り付けたカメラを使用して、手の静的ポーズや動的なジェスチャを認識するインターフェース技術を提案します。提案手法は、スマートウォッチやリストバンド、フィットネストラッカーなどの手首装着型ウェアラブルデバイスに組み込むことを想定しています。

本アプローチの要は、手の甲領域のみのキャプチャから認識することです。手の全体的なキャプチャを必要としないため、手首装着型ウェアラブルデバイスのカメラからでも視覚ベースに認識することが可能です。取得した画像は、ニューラルネットワークで処理され、手の甲の形状、腱、皮膚、骨の小さな動きと変化から手のポーズと動的なジェスチャを認識します。

実験の結果、89.4％（静的ポーズ）と67.5％（動的ジェスチャー）の高い認識率を達成しました。応用したアプリケーションでは、スマートウォッチの指タップ操作や、ポーズでの電話番号入力、ピアノを弾いたりが紹介されます。