Googleの研究者らは、VR向けの360°ライトフィールド画像を取得しレンダリングできるシステムを発表しました。
論文：A System for Acquiring, Processing, and Rendering Panoramic Light Field Stills for Virtual Reality
著者：Ryan Styles Overbeck, Daniel Erickson, Daniel Evangelakos, Matt Pharr, Paul Debevec
本論文は、VR表示するパノラマライトフィールド画像の取得、処理、レンダリングするシステムを提案します。本提案手法は、ライトフィールドを取得するための2つの回転カメラリグ（16台のGoPro回転式カメラリグと、2台のミラーレスデジタルカメラリグ）を使用します。どちらも、回転させながら撮影します。
ライトフィールドによる撮影は、何千もの画像をキャプチャし、一方向の光だけでなく、入射するすべての光を捉えることで、どのように入ってきたかの光の情報も同時に記録します。記録した画像をクラウドベースの処理パイプラインに送り、画像をキャリブレーションしてカメラの実際の位置を決定し、レンダリングエンジンが使用する深度マップを抽出します。
最終的に、コーデックを用いて50〜200MBに圧縮します。途中、ゴーストアーティファクトを処理するためのアプリも実行しています。これら圧縮されたデータセットを、リアルタイムライトフィールド再構成アルゴリズムを用いてレンダリングすることで出力します。
これにより、高品質の再構成ビューを生成し、VRマシンで90Hzに動作するライトフィールド画像を取得、処理、レンダリングするための完全なシステムを実現します。ユーザは、360°を見渡せるだけでなく、頭の位置を少し移動させて見るというVR体験が可能になります。
同社は、2018年3月に、本システムで処理した画像を体験できるアプリ「Welcome to Light Fields」をSteamにてリリースしており、こちらから体験することができます。