早稲田大学と東京電機大学による研究チームは、光学シースルーヘッドマウントディスプレイとSimultaneous Localization and Mapping（SLAM）を併用することで、3D音場をリアルタイムに計測および可視化するシステムを発表しました。
著者：Yuta Kataoka, Wataru Teraoka, Yasuhiro Oikawa, Yusuke Ikeda
所属：Waseda University, Tokyo Denki University
a)本システムの外観、b)スピーカからの音を仕切りで遮っている可視化の様子、c)廊下に配置したスピーカからの位置1mの可視化の様子、d)スピーカからの距離12mの可視化の様子
本論文は、光学シースルーヘッドマウントディスプレイと自己位置推定と環境地図作成を同時に行うSLAMを組み合わせた複合現実技術（論文内ではMicrosoft HoloLensを使用）を音響計測技術へ適用することで、3次元音場をリアルタイムに計測・可視化するシステムを提案します。
本提案手法は、観測者自身がマイクロホンアレイを手で持って、音場を可視化したい場所に対してマイクロホンアレイを自由に動かすことで音場を可視化します。オーディオインターフェースを介してPCに記録されたマイクロホンアレイの測定信号は、音響インテンシティと呼ばれる音のエネルギー流れを表す物理量に変換されます。
空間マップから得られたカメラ位置とマイクロホンアレイのARマーカを用いて算出された測定位置と、その音響インテンシティデータをHoloLensに無線で送信することで、ディスプレイに音のエネルギー流れを表す仮想3Dオブジェクトを逐次表示します。したがって、マイクロホンアレイを移動させるたびに、音の可視化が行われます。また、 HoloLensで取得した空間マップに、ARマーカを用いて座標原点を一度だけ設定しておき、データをその原点座標に対して保存しておくことで、計測済みのデータをいつでもどこでも呼び出すことが可能となります。
可視化は、複数の色付き円錐で表示され、音のエネルギー流れの方向を円錐の頂点の向きで表し、その大きさを色で表します。音響インテンシティのレベルが高いほど赤く表示され、音のレベルが小さいほど青く表示されます。
実験では、スピーカの前に間仕切りを設置することで、音が遮られて回折する様子がひと目で確認できたり、スピーカから放射された音が廊下を伝搬し、部屋の中まで伝搬する様子を把握するなど広範囲に伝搬する音波の可視化が試みられました。このように、音の強度を可視化することで、空間内の音場を設計するのに役立てたり、また、隣の部屋を調べることで遮音性を評価するツールとして活用したりを可能にします。