コロンビア大学とAdobe、360°映像に後から同期した空間オーディオを追加できる手法発表。標準モノラルマイクで録音した音声をアンビソニックに変換

コロンビア大学とAdobe Researchの研究者らは、一般的なモノラルマイクで収録された屋内での360°ビデオシーンに後から空間オーディオを追加する手法を発表しました。

論文:Scene-Aware Audio for 360° Videos
著者:Dingzeyu Li, Timothy R. Langlois, Changxi Zheng

本稿は、360°カメラとモノラルマイクで収録されたシーンに対して、既存音声をAmbisonics(アンビソニック)に変換し組み合わせる手法を提案します。

提案手法を行うことで、専用のAmbisonicsマイクがなくても、視聴者に対して視野角と一致する空間オーディオを低コストで提供することができます。入力オーディオに制限はなく、標準のモノラルマイクからでも適応されます。

本提案手法のステップとしては、音響シミュレーションを実行するためにジオメトリを取得し、視聴者の位置を特定するためにカメラの軌跡を推定、そして、スピーカと無指向性マイクを使用してインパルス応答(IR)を測定します。これらに基づいて、入力オーディオから空間オーディオに変換します。

以下のデモ映像にて、本提案手法で出力した結果を体験することができます。

今後の研究では、屋外で撮影したシーンに対してもアプローチしていきたいとし、また、VR/ARのためのリアルタイムシミュレーションで本システムを使用できるようにしたいとも述べています。

アーカイブ

ページ上部へ戻る