Microsoft Researchは、VRシステムを利用して、実際の建物内で起こる災害を体験することができる災害シミュレーションシステム「Building Scale VR」を開発していることを発表しました。
本システムは、ロボットを使用して室内をキャプチャし、そのデータを基に仮想空間を構築、仮想内と現実世界をリンクさせ建物スケールで歩き回りながらVR避難訓練するというものです。
キャプチャには、屋内3Dマップを作成することが可能な移動式ロボットを活用します。センサカメラ類には、LIDAR、Kinect V2、THETA Vが使用されます。
続けて、体験する人の装置群です。頭にHTC Viveと脳波センサ、両手にViveコントローラ、前方に向けてIntel RealSense、背中にBackpack PC、両ひざにKnee Trackersです。
次にトラッキングですが、Viveのベースステーションではスケールが小さいため、Inside-outを採用します。顔の前に装着したRealSenseからのRGB-Dデータを入力にしたDeep learningアプローチを用いて位置と姿勢を出力します。Deep learningは、GAP(Global Average Pooling)を用いています。
両手は、Arukcoマーカ付きViveコントローラを使用して、ヘッドセットにマウントされたカメラで相対的な姿勢を検出します。これら位置情報は共有することができ、複数人で体験することを可能にします。
また、脳波センサは、避難しているユーザの精神状態を見るために活用します。
これらのことで、室内の仮想空間で火災や地震などが起きた時を実際のスケールで体験することができ、リアルな避難訓練としてシミュレーションすることを可能にします。
関連
中国科学技術大学、通路が連続するVR空間において狭い物理空間で大規模な仮想空間を歩行できる新手法を論文にて発表。分割統治法を用いた折り曲げ方式 | Seamless