Googleの研究チームは、口にくわえたマウスピース型静電容量センサから口腔内の舌の動きを検出し、無発声音声や舌ジェスチャを認識するシステム「TongueBoard」を発表しました。
論文：TongueBoard: An Oral Interface for Subtle Input
著者：Richard Li, Jason Wu, Thad Starner
所属：Google Research & Machine IntelligenceMountain View, CA, USA
本論文は、マウスピース型の静電容量センサを用いて、口腔内の静電容量を計測し舌の動きから無発声音声と舌のジェスチャを認識するデバイスを提案します。
デバイスは、言語療法で活用するための市販品SmartPalate – CompleteSpeechを使用します。SmartPalateは、124の静電容量式タッチセンサで構築されており、舌の位置を正確に捉えることができるデバイスです。具体的には、取得した静電容量値データをDataLinkで処理し、標準のUSBケーブルを介してラップトップまたはスマートフォンに送信、口腔内の視覚的表現に変換します。これら検出した舌の動きを分類し、語彙やジェスチャと結び付けることでコンピュータとやり取りをします。
単語レベルの無発声音声分類および舌スワイプ検出のために、support vector machine (SVM)を用いて分類します。実験では、アプリケーション入力用の21単語と9つの舌ジェスチャを持つサイレントスピーチインタフェースを構築しました。これにより、声を出した時と同じ音声入力を無音で行うことができます。デモ動画では、スマートフォンでカレンダーの予定を追加したり、スマートグラスと組み合わせて歩行しながらテキストメッセージを送信したりしている様子を確認することができます。