FacebookとUCL、スマートフォンカメラの撮影で奥行きあるパノラマ3D画像を再構築する新アルゴリズムを論文発表。3D画像には動的なCGエフェクトを加えることも

英国の大学「UCL：University College London」と、Facebookの研究者たちは、スマートフォンや一眼レフカメラなどで撮影した写真から3D画像を再構築する新しいアルゴリズムを論文にて公開しました。

本稿は、スマートフォンなどの既存カメラを利用して、カジュアルに奥行きある3D画像を作成できるアルゴリズムを提案します。スマートフォンを片手に手動で撮影するだけで再構築してくれる手軽さが魅力です。

そして、再構築された3D画像は、奥行きある立体的なシーンを提供することができます。ただ、写真測量による360°実写シーンみたいにVRベースで歩き回ることはできませんが、VRとの相性は良く没入感を高めてくれます。

また、再構築された3D画像には、立体的で奥行きを利用した動的なエフェクトをかけることもでき、現実空間にCGを融合させることも可能です。デモ映像では、光や浸水を表現したりしています。

出力された画像を見てもらうとわかるように、ノイズ（アーチファクト）が少なくナチュラルに表現されているのが見て取れますが、これはフロントとバックの2層に分けてスティッチングし、後から融合させることで可能にしています。

（キャプチャからスティッチング、2層の融合、など6段階に分解した本アルゴリズム。）

ただし、現段階では、反射面と半透明の質感を再構築することは難しく、また、車のように速く動作するオブジェクトも綺麗にレンダリングすることはできないとしています。

関連