ワシントン大学とFacebookの研究者らは、スマートフォンのカメラを用いて、実物体の背後に回り込むように仮想物体を表示できるARシステムを発表しました。
論文：Fast Depth Densification for Occlusion-aware Augmented Reality
著者：Aleksander Holynski, Johannes Kopf
右：本提案手法、仮想物体が猫の実物体の後ろに自然に回り込んでいる様子が確認できる
本論文は、低密度デプスポイントを高密度化し、ほぼリアルタイムで各ピクセルに伝播させる新規なアルゴリズムを提案します。これにより、オクルージョンに対応したARアプリケーション作成を可能にします。
元動画 https://youtu.be/VjR11gkmm3E
既存のスマートフォンでAR機能を使用すると、すべてのピクセルについて深度を計算しないため、実物体の後ろに回り込むように仮想物体を表示することは困難なのが現状で、できたとしてもノイズが多いのが現状です。
本提案手法は、スマートフォンのカメラから撮影したビデオシーケンスのSLAM（Simultaneous Localization and Mapping）システムによって計算された低密度デプスポイントを入力として、ソフトデプスエッジを計算し、そこから高密度デプスエッジを計算することで各ピクセルに伝播し低密度ポイントを高密度化します。
これにより、実物体の奥行きを完全に理解し、仮想物体を表示するオクルージョン対応のARアプリケーションを実装することを可能にします。