和歌山大学：吉野研究室の研究者らは、AR技術を用いて遠隔地間を枠でつなぐビデオチャットシステム「ドアコムAR」を論文にて発表しました。
論文：ドアコムAR：ポータルを用いた空間接続表現手法による対話相手の存在感の強化
著者：濵上 宏樹、吉野 孝
本稿は、AR技術を用いて実際の空間に枠（本研究ではポータルと呼ぶ）を出現させ、枠を境界として遠隔地間を繋ぐ映像表現手法を提案します。
提案手法では、侵入側と被侵入側に別れ、サーバを通してデータ通信を行います。
- 侵入側：Kinectで深度情報を取得し、3次元点群データを生成。Joy-Conを用いてポータルの出現座標を制御。被侵入側から受信した3次元データで空間内での枠の座標の位置合わせを行う。
- 被侵入側：Kinectで深度情報を取得し、3次元点群データを生成。サーバから受信した侵入側の3次元データをHoloLensに点群として重畳表示する。
両者ともに、処理/通信負荷の軽減のため、3次元データを背景と人物で分けています。また、枠の中に奥行きがあり空間が広がっているような映像を実現するために、UnityのParticle機能を用いて、枠外を黒いPlaneで隠すことで枠内の空間を強調します。
また、侵入側もHoloLensを使用すると被侵入側同様の効果が得られ、HoloLens同士で本手法を利用することも可能です。
これらのことで、本研究は対話相手に自身の空間へと侵入されている感覚「被侵入感」を提供することができ、テレプレゼンスにおいて存在感の強化を実現します。
関連
パデュー大学、モバイル機器に標準的な無線ネットワークを介して3Dビデオをリアルタイム配信する通信技術「Holostream」を発表。最大30fpsで配信 | Seamless