筑波大学の知覚拡張システム研究室は、聴覚障害者向けに相手の会話情報をAR的に視覚化するシースルー型HMDシステムを論文にて発表しました。
Speech Balloon System Using Single-Channel Microphone Array on See-Through Head-Mounted Display
著者：Keiichi Zempo、Tomoki Kurahashi、Koichi Mizutani、Naoto Wakatsuki
本稿は、シースルー型HMD（本稿ではMicrosoft Hololensを使用）、マイクロフォンアレイ、音声認識エンジンからなる字幕支援システムを提案します。
本システムを使用することで、相手の発する言葉がテキストとして吹き出し形式で現実空間に重畳され、視覚的に確認することができます。このことで、耳が不自由な人でも、相手に負担をかけることなく発言している内容をより理解することを可能にします。
（本システムの概要図）
提案手法では、相手の音声を正確に取得するため、HoloLensの上にマイクロフォンアレイをマウントします。環境雑音下や複数人の話者から特定の話者の発言を抽出しなければいけないため、単一チャネルマイクロフォンアレイ（SCMA：Single Channel Microphone Array）を音声入力部として採用します。
また、使用者は、ノイズがある環境下でも指定の音声を取得するため、相手に対して正面を向くことで聞き取りたい話者を特定し取得します。
最後に、取得した音声から音声認識エンジンを用いてテキストデータ化し、現実空間に重ねて吹き出し形式で表示します。
関連
HoloLens越しに見る相手の顔を自動認識し個人情報を教えてくれるアプリのデモ映像が登場。名前、職種、顔写真の書かれたネームカードが表示 | Seamless