Adobe Researchは、平面(フラット)の360°実写映像に6自由度(視点の回転運動と並進運動)を与えるアルゴリズムを論文にて公開しました。(PDF)
6自由度とは
VR体験における6自由度とは、VRヘッドセットで体験した時に首振りのように上下左右に見渡せるのに加えて、頭の位置を前後左右に移動し視聴できることを示します。
この6自由度を再現するのにCG開発では容易ですが、実写では困難なのが現状です。実際に実現しようとするならば、奥行き情報もキャプチャできるLytroのライトフィールドVRカメラや、Facebookの新VRカメラなどが必要になってきます。
360°カメラで撮影したフラットな360°映像を6自由度映像に変換
今回、Adobeが提示したのは、奥行き情報のキャプチャなしの一般的に販売されている360°カメラで撮影した映像(フラットな360°映像)に、6自由度を付与させた映像に変換するシステムになります。
アプローチとしては、6自由度の動きに応じて各眼のための新規なビューを合成することで実現します。
ただし、本アプローチは写真測量に基づき計算しているため、同じシーンの複数視点をキャプチャする必要があります。撮影しながら動く必要があるということ。
そして、キャプチャした点群データから再構成し、6自由度実写360°ビデオを作り上げます。