Seamless

Virtual Reality News

メニュー

カリフォルニア大学、動画撮影後にピントを操作(リフォーカス)し30fpsで出力できるライトフィールド・ビデオキャプチャAIシステムを論文にて発表。動的物体を追跡しピントを当て続けることも

カリフォルニア大学は、動画撮影後にピントを操作できるライトフィールド・ビデオキャプチャシステムを論文にて公開しました(PDF)。

現在のコンシューマー・ライトフィールドカメラは、データを記録するため膨大な帯域幅が必要なので、一秒間に3枚の画像しか撮れません。

しかし、本システムは、一般的な一眼レフカメラとライトフィールドカメラをハイブリットすることで、事後ピント(リフォーカス)操作可能な30fps映像を生成することを可能にしました。

一般的なDSLRで撮影した2D映像と、Lytro ILLUMでキャプチャした3つのフレーム、これらを組み合わせることで実現します。プロセス全体は、畳み込みニューラルネットワークを使用してエンドツーエンドで訓練されます。

このことで、撮影後に編集画面内で焦点を自由に変更するリフォーカス、絞りの変更、少しの視点移動、さらに、移動する物体に対して追跡しピントを当て続けるフォーカストラッキングも可能にしています。

VRとライトフィールドカメラ

VRにおいてもライトフィールドカメラは、ある種突破口の1つとされています。360°実写映像をライトフィールドでキャプチャすることで、VR体験者はその映像内を少し動き回ること(6自由度)ができるからです。

一方で、360°ライトフィールドカメラは、膨大な容量を保存する必要があるのでコンシューマーとしてはまだ登場していないのが現状です。業務用としては、LytroがライトフィールドVRカメラ「Immerge」を発表し、現在も研究を進めています。(過去記事参照

今回、360°ではないものの、安価に30fpsのライトフィールド・ビデオキャプチャシステムが実証されました。これは、コンシューマー版360°ライトフィールドVRカメラの実現に一歩進んだのかもしれません。

 

関連

Lytro、奥行き込みキャプチャの実写6自由度を再現できる最新ライトフィールドVRカメラ「Immerge(95個レンズ)」のメーキング映像を公開 | Seamless

About

Seamless(シームレス)は、Virtual Realityを主軸に更新しています。(詳細はこちら