セント・アンドルーズ大学など、手首装着型デバイスのカメラを用いて「手の甲」からハンドジェスチャやポーズを認識するDeep learningを用いた技術を発表

セント・アンドルーズ大学、東京工業大学、韓国科学技術院による研究チームは、手首に取り付けたカメラを使用して、手の甲から手のポーズやジェスチャを認識するDeep learningを用いたインターフェース技術を発表しました。

論文:Opisthenar: Hand Poses and Finger Tapping Recognitionby Observing Back of Hand Using Embedded Wrist Camera

Hui-Shyong Yeo(University of St Andrews, Fife, United Kingdom)
Erwin Wu(Tokyo Institute of Technology, Tokyo, Japan)
Juyoung Lee(Korea Advanced Institute of Science and Technology, Daejeon, Republic of Korea)
Aaron Quigley(University of St Andrews, St Andrews, United Kingdom)
Hideki Koike(Tokyo Institute of Technology, Tokyo, Japan)

本研究は、手首に取り付けたカメラを使用して、手の静的ポーズや動的なジェスチャを認識するインターフェース技術を提案します。提案手法は、スマートウォッチやリストバンド、フィットネストラッカーなどの手首装着型ウェアラブルデバイスに組み込むことを想定しています。

本アプローチの要は、手の甲領域のみのキャプチャから認識することです。手の全体的なキャプチャを必要としないため、手首装着型ウェアラブルデバイスのカメラからでも視覚ベースに認識することが可能です。取得した画像は、ニューラルネットワークで処理され、手の甲の形状、腱、皮膚、骨の小さな動きと変化から手のポーズと動的なジェスチャを認識します。

実験の結果、89.4%(静的ポーズ)と67.5%(動的ジェスチャー)の高い認識率を達成しました。応用したアプリケーションでは、スマートウォッチの指タップ操作や、ポーズでの電話番号入力、ピアノを弾いたりが紹介されます。

About

テクノロジー系の最新論文を紹介しているWebメディアです。山下が個人で運営し、執筆も連載除いて行なっています。ITmedia NEWS様でも執筆しています。Seamlessをサポートできるプログラムも行なっています。

yamashita.mailer(a)gmail.com

連載

ページ上部へ戻る