NVIDIAの研究チームは、画像内の一部を削除し修復するDeep learningを用いた画像修復法を発表しました。
論文：Image Inpainting for Irregular Holes Using Partial Convolutions
著者：Guilin Liu, Fitsum A. Reda, Kevin J. Shih, Ting-Chun Wang, Andrew Tao, Bryan Catanzaro
本稿は、画像内の修正したい箇所をマスクし、除去したあとを自然に見せる代替を生成し再構築するモデルを提案します。不規則な形状のマスクでも画像修復できるDeep learningモデルです。
本提案手法は、最初にニューラルネットワークを訓練するため、トレーニング用のマスク55,116個、テスト用のマスク24,866個を生成しました。
NVIDIA Tesla V100 GPUとcuDNN、PyTorchを使用し、生成されたマスクをImageNet、Places2、CelebA-HQデータセットの画像に適用することによってニューラルネットワークを訓練します。
本モデルは、多様な形状やサイズなどにも対応しており、またマスクが大きくなっても精度が急激に低下することなく実行することが可能。これらのことで、画像の細かい任意の場所を高精度で修復することができるとします。
関連
コーネル大学とNVIDIA、1枚の画像を多様な画像に変換する敵対生成学習GANを用いたフレームワーク発表 | Seamless