iPhoneの撮影からVR歩行できる実写シーンを作成するチュートリアル。数百枚の写真から計算して奥行きある3D画像を作成するフォトグラメトリ手法

米国在住のクリエイターAZ Balabanian氏は、「Photogrammetry（フォトグラメトリ、写真測量）」と呼ぶ手法を使ってVR歩行できる実写シーンを作成するチュートリアルを公開しました。

ここでいうPhotogrammetryとは、1シーンを作成するのに複数の観測点から撮影した数百枚の2次元画像から、視差情報を解析して寸法・形状を求め奥行きある3Dシーンを構築するというものです。

このことで任意の場所を奥行きある実写VRシーンに作り上げることができ、その実写VRシーン内を歩き回ることを可能にします。

前提条件

カメラ（チュートリアルではiPhone 7 Plusを使用）
Photogrammetryソフトウェア（Reality Capture 40ドル/月、Agisoft Photoscan 179ドル、Autodesk Recap 360）

Photogrammetryには、内部キャプチャと外部キャプチャの2種類に分類することができます。例えば、部屋の中を内側から撮影するのが内部キャプチャで、家を外側から撮影するのが外部キャプチャ。

被写体が決まれば、カメラ（ここではiPhone 7 Plus）を使用して、いろんな角度や距離からの写真を撮影します。

撮影時間を最小限に抑えることが重要と述べます。なぜなら、例えば外だと太陽が動くので、撮影が遅いと異なる角度の陰ができてしまうからです。

また、撮影方法として、対象のクローズアップ写真があることも重要で、細かいテクスチャを取得することも必要と述べます。

上で撮影した97枚の画像データセットは公開されており、ここからダウンロードできます。

Autodesk Recap 360に、取得した画像データセットをアップロードします。

上の画像でもわかるように、炉周囲の草は風で動いていたため、うまく再現されていません。可能であれば、動いてるオブジェクトは撮影しないのが良いと述べます。

Agisoft PhotoscanやReality Captureのような高度なソフトウェアでは、再構築された後に多くの編集や調整を行うことができるとのことです。

必要な部分だけを切り取って再構築できます。Meshlab（無料）を使用。今回の場合だと、炉だけを切り抜いて再構築したい場合、以下のようになります。