ETRI、顔画像を直感的に編集（マスク、スケッチ、カラー入力）するだけで高品質な合成顔画像を生成する機械学習を用いた手法「SC-FEGAN」発表

韓国電子通信研究院（Electronics and Telecommunications Research Institute, ETRI）の研究チームは、顔画像を直感的に編集（マスク、スケッチ、カラー入力）するだけで高品質な合成顔画像を生成する機械学習を用いた手法「SC-FEGAN」を発表しました。

論文：SC-FEGAN: Face Editing Generative Adversarial Network with User’s Sketch and Color

著者：Youngjoo Jo, Jongyoul Park
所属：ETRI

本論文は、画像に対して、自由形式の入力（マスク、スケッチ、カラー）から、自然な合成画像を生成するニューラルネットワークを用いた画像編集システムを提案します。

出力結果は、上記GIFのように、サングラスから目に変更したり、前髪のスケッチで髪の毛のボリュームを加えたり、鼻へのスケッチで変形したり、目への色入力で紫ベースのアイラインを生成したりできます。本提案は、U-netベースのGeneratorと、SN-PatchGANベースのDiscriminatorを使用して生成するネットワークアーキテクチャです。

データセットに、トレーニング用29,000画像、テスト用1,000画像の2セットのCelebA-HQデータセットを使用します。スケッチとカラーデータセットを取得する前に、画像を512×512ピクセルにサイズ変更します。

出力結果は、一部分を編集できるだけでなく、顔画像のパーツが一部分しかなくても、残りの部分のスケッチがあればそれなりに修復することも可能です。さらに、元となる顔画像がなくても、スケッチとカラーだけでもそれっぽい顔画像を生成します。

GitHubページはこちら。