セント・アンドルーズ大学など、手首装着型デバイスのカメラを用いて「手の甲」からハンドジェスチャやポーズを認識するDeep learningを用いた技術を発表

セント・アンドルーズ大学、東京工業大学、韓国科学技術院による研究チームは、手首に取り付けたカメラを使用して、手の甲から手のポーズやジェスチャを認識するDeep learningを用いたインターフェース技術を発表しました。

論文:Opisthenar: Hand Poses and Finger Tapping Recognitionby Observing Back of Hand Using Embedded Wrist Camera

Hui-Shyong Yeo(University of St Andrews, Fife, United Kingdom)
Erwin Wu(Tokyo Institute of Technology, Tokyo, Japan)
Juyoung Lee(Korea Advanced Institute of Science and Technology, Daejeon, Republic of Korea)
Aaron Quigley(University of St Andrews, St Andrews, United Kingdom)
Hideki Koike(Tokyo Institute of Technology, Tokyo, Japan)

本研究は、手首に取り付けたカメラを使用して、手の静的ポーズや動的なジェスチャを認識するインターフェース技術を提案します。提案手法は、スマートウォッチやリストバンド、フィットネストラッカーなどの手首装着型ウェアラブルデバイスに組み込むことを想定しています。

本アプローチの要は、手の甲領域のみのキャプチャから認識することです。手の全体的なキャプチャを必要としないため、手首装着型ウェアラブルデバイスのカメラからでも視覚ベースに認識することが可能です。取得した画像は、ニューラルネットワークで処理され、手の甲の形状、腱、皮膚、骨の小さな動きと変化から手のポーズと動的なジェスチャを認識します。

実験の結果、89.4%(静的ポーズ)と67.5%(動的ジェスチャー)の高い認識率を達成しました。応用したアプリケーションでは、スマートウォッチの指タップ操作や、ポーズでの電話番号入力、ピアノを弾いたりが紹介されます。

ABOUT

 本サイト(Seamless/シームレス)は、2014年に始めた先端テクノロジーの研究を論文ベースで記事にしているWebメディアです。山下が個人で運営し、執筆を行っています。現在は主に寄稿(ITmedia NEWS)と、Seamless Journalに専念しています。

連絡先:yamashita(at)seamless.jp
Subscribe:TwitterFacebookHatenaNewsPicks

ゲスト連載:プロジェクションマッピング技術の変遷 岩井大輔

 Seamless Journalとは、月額10ドルの課金で厳選した最新論文がほぼ毎日メールボックスに届くというものです。記事にならない気になる論文をお届けします。決済はPatreonを介して、クレジットカードおよびPayPalで行え、解約も同サービスからいつでも可能です。お申し込みはこちらから

ページ上部へ戻る