バル=イラン大学など、動画の顔をより自然に入れ替えるRNNベースの手法「FSGAN」発表

バル=イラン大学とイスラエル・オープン大学による研究チームは、画像や動画の顔の入れ替えと再現にRNN(Recurrent neural network)を用いたアプローチ「Face Swapping GAN(FSGAN)」を発表しました。

論文:FSGAN: Subject Agnostic Face Swapping and Reenactment

Yuval Nirkin(Bar-Ilan University, Israel)
Yosi Keller(Bar-Ilan University, Israel)
Tal Hassner(The Open University of Israel, Israel)

本研究は、別の画像に顔を転送するRNNをベースとしたネットワークを提案します。この顔の入れ替え技術は、ソース画像からターゲット画像に顔を転送するタスクで、これによりターゲットに表示される顔がシームレスに置き換えられ、リアルな合成顔を生成します。

以前の研究とは異なり、本アプローチは被験者にとらわれません。被験者固有のトレーニングを必要とせずに、異なる被験者の顔に適用できます。つまり、エンドツーエンドのトレーニングから写真のようにリアルで時間的に一貫した結果を生成します。