Microsoft Researchら、Kinect 8台からのライブ3D再構築ルームをVRで体験できるシステム発表。部屋内のモノを消したり変えたりコピーしたり

Microsoft Researchとベルリン工科大学の研究者らは、VRヘッドセットを用いて、その部屋のライブ3D再構築をインタラクティブに体験できるシステム「Remixed Reality」を発表しました。

（左は現実世界で椅子は1つ。右は仮想世界で椅子をコピーして2つにしている。）

本稿は、深度センサから取得した3次元点群データを変換し再構築した3D空間をVRシステムを通してリアルタイムに表示する現実と仮想の間を部屋ベースで構築する提案をします。

本提案手法は、部屋の天井に取り付けられた8台のKinectから取得したデータを、1つのルームに結合し3D再構築します。それをユーザは、リアルタイムに見ます。VRシステムには、HTC Viveが用いられます。

物理ルームと3D再構築ルームはライブで位置を合わせているため、基本的には同じ位置に両者がある状況が作られます。

そして、ユーザは本環境でインタラクティブに操作することができ、家具を移動させたり、机を消したり、椅子をソファに変えたり、人のコピーを作成したりなど、物理ルームでは変化しませんが、3D環境で自由にコントロールすることができます。

また、時間的な変更も可能で、ライブデータの受信を中断し、静的な再構築環境で自由に操作することもできます。さらに、その部屋の出来事を記録し、任意の速度で再生させることも可能。

このことで、現実空間をあたかも操作しているかのように感じられ、現実と仮想の間を体感することができるとします。また、本研究は、Microsoft Researchが2016年に発表した「Holoportation」からインスピレーションを受けたと述べています。

関連