カーネギーメロン大学の「Future Interfaces Group」は、「ViBand」と呼ばれるスマートウォッチをベースとしたユーザーインターフェース技術に関する論文を公開しました。
それはカスタマイズしたスマートウォッチにより、指や手のジェスチャー操作や、触れた物体を識別するなど、その時の生体音響信号を読み取り多彩なコンピュータインタラクションを実現するというものです。
他方で、カメラによるコンピュータビジョンベースの認識はよく見かけると思いますが、今回のは、ではなくスマートウォッチによる生体音響ベースとなります。
本研究では、LGスマートウォッチ「G Watch W100」の加速度センサーをオーバークロック、サンプリングレートを向上（100Hzから4000Hz）させBio-acoustics（生体音響）信号を収拾することができる独自のカーネル（Linux）を開発し、実現しました。
ジェスチャー
カスタマイズされたスマートウォッチは、生体音響信号を読みとることができ、スマートウォッチにおける手や指のフリック、スナップ、タップ、などの微細な変化のジェスチャー操作を認識し他と区別することで入力などのインタラクションを可能にします。
ジェスチャー操作は、PCやTV、部屋の照明などのデバイス操作にも関連付けることができます。
（照明の調整を行ったり、拍手でTVを起動させたり）
物体認識
生体音響センシングを使用すれば、触れたオブジェクトの信号も読み取り物体のモータ駆動などの振動を検出し識別・分類することができます。
電動歯ブラシ、ハンドミキサー、電動ドライバー、ドライヤー、バイク、など。
さらに、応用としてギターのチューニングも視覚的フィードバックに変換し提供することも可能にします。ガンの弾薬数を表示したりといった応用も。
構造化された振動
さらに、トランスデューサー（変換器）を使用して構造化された振動を生成、人間の体を介してデータを送信・表示することもできます。例えば、プラカードに触れると認識するとか。
接着剤銃の温度を視覚情報として提供したり。
以上、一通りのことを映像にしたビデオもYouTubeで公開されていますので確認することができます。論文に関してはこちら。（PDF）