カリフォルニア工科大学と南カリフォルニア大学の研究者らは、Microsoft HoloLensを用いて、視覚障害者の周囲情報を取得して音声で伝えサポートするシステムを発表しました。
論文：Augmented Reality Powers a Cognitive Prosthesis for the Blind
著者：Yang Liu, Noelle R. B. Stiles, and Markus Meister
本稿は、視覚障害者向けに、HoloLensを用いて、ユーザの周囲の情報を抽出し伝えることでサポートする提案をします。
本提案手法を使用することで、建物内において、ユーザに障害物を回避させる情報を提供したり、長距離ナビゲーションなど多様な側面でのサポートを可能にします。
本提案手法は、ユーザの周囲をスキャンしマップを作成、シーン内の各オブジェクトに対して、オブジェクトの位置を形成するような音声を生成し情報を伝達します。オブジェクト名とガイドコマンドは、HoloToolkitのテキスト読み上げエンジンを使用して英語に翻訳されます。
ユーザは、2つの音声コマンド（例えば、「方向」「距離」）を使用して、現在の対象オブジェクトの距離や方向などを取得することができます。また、ナビゲーションシステムでは、目的地までの経路を音声で伝えてくれるターンバイターンも可能です。
アクティブ探査モードでは、目の前の視野60°を対象に、視野に入るオブジェクトを順番に音声で教えてくれたり、スポットライトモードでは、前方視野がさらに狭い範囲での一番近いオブジェクトを伝えてくれます。
他にも、仮想物体の配置やラベリング機能もあり、さらに、壁などへの衝突を回避するために、壁に近づいたときに警告音で知らせてくれる機能も備わっています。拡張として、触覚システムを装着すれば、壁にあたりそうになった場合に警告してくれ衝突回避をサポートしたりも可能です。
