KAISTなど、既存の動画を広い視野ビデオに変換する外挿フレームワークを発表。外側を推定し合成する

KAISTとKAI Inc.による研究チームは、広い視野のディスプレイの作成のために既存のビデオを幅広いFOV(Field of View,視野)動画に再構築するビデオ外挿法を発表しました。

論文:Video Extrapolation using Neighboring Frames

著者:Sangwoo Lee, Jungjin Lee, Bumki Kim, Kyehyun Kim, Junyong Noh
所属:KAIST, Visual Media Lab, KAI Inc.

本論文は、入力ビデオの外側を推定し広いFOVを持つコンテンツに変換するフレームワークを提案します。従来の方法で広いFOVシーンを作成する場合、複数台のカメラを用意するか、1台の広角レンズを使用する必要があり、前者は制作コストがかかり後者は低解像度になります。そこで本論文では、代替案として既存のビデオもしくは1台のカメラで撮影したビデオから外挿して高品質の幅広いFOVシーンを生成する手法を検証します。

本提案において重要なのは、入力ビデオ内にあるすべてのフレームからの情報を各フレームに統合することです。前処理として、入力ビデオから3Dシーンポイントとカメラパラメータをstructure-from-motion (SFM) 技術を使用して復元します。最初のワーピングでは、シーンポイントの外れ値を決定し、新たに見える部分の領域を計算します。フレームをコスト削減のためサンプリングし、最終ワーピングを行います。

最後に、隣接する推定したフレームの可視部分を順番にターゲットフレームにブレンドしていき、すべてのフレームを滑らかに結合します。

提案によって生成された幅広いFOVシーンは、入力ビデオと同じ解像度を持ちます。以下が様々なシーンの出力結果です。