University College London(ユニヴァーシティ・カレッジ・ロンドン)とFacebookの研究者らは、デュアルレンズ搭載スマートフォンで撮影した画像から3Dパノラマを構築するエンドツーエンド・アルゴリズムを発表しました。
論文:Instant 3D Photography
著者:Peter Hedman,Johannes Kopf
本稿は、デュアルレンズ搭載スマートフォンで撮影された画像から3Dパノラマを再構築する技術を提案します。
ユーザは、スマートフォンを動かして複数枚の画像を1秒間隔でキャプチャします。その際に、デュアルレンズは深度画像を再構築する目的で、ステレオ画像ペアをキャプチャします。
そして、提案手法の流れとして、深度マップを調整し、シームレスにするためスティッチング、パノラマを標準のグラフィックスエンジンを使用して任意のデバイスでレンダリングできるテクスチャ付きメッシュに変換します。
生成した3Dパノラマは、VRで両眼と頭部の動きの視差で見ることができ、また、通常のモバイルやPCディスプレイで視差ビューで見ることも可能とします。