カリフォルニア大学、動画撮影後にピントを操作（リフォーカス）し30fpsで出力できるライトフィールド・ビデオキャプチャAIシステムを論文にて発表。動的物体を追跡しピントを当て続けることも

カリフォルニア大学は、動画撮影後にピントを操作できるライトフィールド・ビデオキャプチャシステムを論文にて公開しました（PDF）。

現在のコンシューマー・ライトフィールドカメラは、データを記録するため膨大な帯域幅が必要なので、一秒間に3枚の画像しか撮れません。

しかし、本システムは、一般的な一眼レフカメラとライトフィールドカメラをハイブリットすることで、事後ピント（リフォーカス）操作可能な30fps映像を生成することを可能にしました。

一般的なDSLRで撮影した2D映像と、Lytro ILLUMでキャプチャした3つのフレーム、これらを組み合わせることで実現します。プロセス全体は、畳み込みニューラルネットワークを使用してエンドツーエンドで訓練されます。

このことで、撮影後に編集画面内で焦点を自由に変更するリフォーカス、絞りの変更、少しの視点移動、さらに、移動する物体に対して追跡しピントを当て続けるフォーカストラッキングも可能にしています。

VRとライトフィールドカメラ

VRにおいてもライトフィールドカメラは、ある種突破口の1つとされています。360°実写映像をライトフィールドでキャプチャすることで、VR体験者はその映像内を少し動き回ること（6自由度）ができるからです。

一方で、360°ライトフィールドカメラは、膨大な容量を保存する必要があるのでコンシューマーとしてはまだ登場していないのが現状です。業務用としては、LytroがライトフィールドVRカメラ「Immerge」を発表し、現在も研究を進めています。（過去記事参照）

今回、360°ではないものの、安価に30fpsのライトフィールド・ビデオキャプチャシステムが実証されました。これは、コンシューマー版360°ライトフィールドVRカメラの実現に一歩進んだのかもしれません。