Microsoft Researchとスタンフォード大学による研究チームは、現実の町とヴァーチャルの町をリンクさせてVR内で物理歩行できるナビゲーションシステム「DreamWalker」を発表しました。
論文：DreamWalker: Substituting Real-World Walking Experiences with a Virtual Reality
Jackie (Junrui) Yang¹,², Christian Holz¹, Eyal Ofek1, Andrew D. Wilson¹
¹Microsoft Research, Redmond, WA, USA ²Stanford University, Stanford, CA, USA
本研究は、大規模な屋外をベースに、現実とヴァーチャルの道を同期し、VRを体験しながら物理的に目的地まで歩行できるナビゲーションシステムを提案します。言い換えると、ユーザが実際に歩いている現実世界の屋外スペースを介してVR体験でナビゲートできるシステムです。つまり、現実空間を見なくても目的地に着けるということです。
ユーザが身に着けている機器は以下です。
- RGB-Dセンサー（Intel Realsense D425）
- インサイドアウトトラッキング可能ヘッドマウントディスプレイ（Samsung Odyssey Windows Mixed Reality）
- GPS内蔵スマートフォン（Xiaomi Mi 8）
- バックパックPCとバッテリー
システムは、以下の3つの信号ソースをリアルタイムに統合します。
- HMDによる6自由度のインサイドアウトトラッキング
- スマートフォンによるGPS現在地
- RGB-Dセンサーによるユーザ周囲の環境や障害物に関するリアルタイム情報
これらすべてのソースデータをリアルタイムで統合および調整して、ユーザの正確な現実世界の位置を推定し、ヴァーチャル世界にリダイレクトして、歩行可能なエリアマップを更新し続け計画された経路を維持します。具体的な手順は以下です。
- 経路計画・・・予めスタートからゴールまでの経路をVR空間で再現します。建物などの絶対動かないであろうオフジェクトを構築します。
- リアルタイム環境検出・・・続けて、リアルタイムに検出した周囲のデータから3Ｄデプスマップを作成し、経路計画では補えない突発的な静的障害物と動的障害物を組み合わせていきます。
基本的に黄色い矢印で誘導します。また突発的な障害物が来たときは、簡単なオブジェクトを表示してユーザの衝突を防ぎます。
本システムの目的はユーザを障害物に衝突させずにナビゲートすることです。それにあたり、3タイプの障害物を考えます。
- Static obstacles・・・経路作成段階で予め分かっている建物や道路、木、壁などの地図データで表される障害物です。
- Ad-hoc obstacles・・・経路作成段階では分からない駐車した車や、その時だけに置かれてる障害物です。こちらはユーザの視界内でリアルタイムに検出する必要があります。
- Dynamic obstacles・・・経路計画時では分からない動いている障害物です。他の歩行者、犬、自転車、車などです。ユーザの視界内でリアルタイムに検出します
本システムの制限としては、RGB-Dセンサーで取得するデータよりもHMDの方が視野が広いため、側面から素早く入ってくる動的障害物を見逃すことがあります。
次の課題としては、他の人間の自然な動作のレンダリング、それらをユーザの視野外でも生成し常に移動させること、他にも、現実で起きているものを、そのままVRで同じイベントとして生成すること。さらには、現在のシステムでは障害物に衝突しないことにしていますが、椅子に座ったりなどの触覚フィードバックも組み合わせたいとしています。