KAISTとKAI Inc.による研究チームは、広い視野のディスプレイの作成のために既存のビデオを幅広いFOV（Field of View,視野）動画に再構築するビデオ外挿法を発表しました。
論文：Video Extrapolation using Neighboring Frames
著者：Sangwoo Lee, Jungjin Lee, Bumki Kim, Kyehyun Kim, Junyong Noh
所属：KAIST, Visual Media Lab, KAI Inc.
本論文は、入力ビデオの外側を推定し広いFOVを持つコンテンツに変換するフレームワークを提案します。従来の方法で広いFOVシーンを作成する場合、複数台のカメラを用意するか、1台の広角レンズを使用する必要があり、前者は制作コストがかかり後者は低解像度になります。そこで本論文では、代替案として既存のビデオもしくは1台のカメラで撮影したビデオから外挿して高品質の幅広いFOVシーンを生成する手法を検証します。
本提案において重要なのは、入力ビデオ内にあるすべてのフレームからの情報を各フレームに統合することです。前処理として、入力ビデオから3Dシーンポイントとカメラパラメータをstructure-from-motion (SFM) 技術を使用して復元します。最初のワーピングでは、シーンポイントの外れ値を決定し、新たに見える部分の領域を計算します。フレームをコスト削減のためサンプリングし、最終ワーピングを行います。
最後に、隣接する推定したフレームの可視部分を順番にターゲットフレームにブレンドしていき、すべてのフレームを滑らかに結合します。
提案によって生成された幅広いFOVシーンは、入力ビデオと同じ解像度を持ちます。以下が様々なシーンの出力結果です。
