2枚の画像から類似したポイントを抽出し対応付けするスパース推定フレームワーク「Neural Best-Buddies」。ハイブリッド画像やモーフィングに | Seamless

Seamless

Virtual Reality News

2枚の画像から類似したポイントを抽出し対応付けするスパース推定フレームワーク「Neural Best-Buddies」。ハイブリッド画像やモーフィングに

AICFVE Beijing Film Academy、Microsoft Research、山東大学、ヘブライ大学、北京大学、テルアビブ大学の研究チームは、2枚の画像間のポイントを抽出し対応付けするCNN(Convolutional Neural Network)を用いたスパース推定フレームワーク「Neural Best-Buddies」を発表しました

論文:Neural Best-Buddies: Sparse Cross-Domain Correspondence
著者:Kfir Aberman, Jing Liao, Mingyi Shi, Dani Lischinski, Baoquan Chen, Daniel Cohen-Or

本稿は、2枚のペア画像から重要な特徴だけを検索し抽出、共通の外観を持たない画像間の対応付けを可能にする手法を提案します。

本提案手法は、画像分類タスクのために訓練されたCNNを用いて、構築された階層の粗い階層からペアを検索し、細​​かい階層(オリジナルの解像度)までピクセルレベルで伝搬し対応するセットを抽出します。

これらのことで、2枚の画像を入力に、画像間の対応付けを可能にします。精度結果は、本手法を用いて自動対応したものと、人間が手動で作成したものを比べ、非常に近いことを報告し精度の高さを実証しました。

アプリケーションでは、結合画像の作成、自動画像モーフィングなど、外見が異なるオブジェクト同士の自然なハイブリッド画像作成を可能にし、有用性も実証しました。