香港市立大学とマイクロソフトのコンピュータサイエンスチームは、1枚の顔写真から似顔絵を生成する敵対的生成ネットワーク「GAN（Generative Adversarial Network）」を用いた手法を発表しました。
論文：CariGANs: Unpaired Photo-to-Caricature Translation
著者：KAIDI CAO, JING LIAO, LU YUAN
左から入力の写真、手書きの似顔絵、一番右が本提案手法の出力結果。手描きの似顔絵：上©Lucy Feng/deviantart、下©Tonio/toonpool
本論文は、ペアになっていない1枚の顔写真から似顔絵を生成するGANアーキテクチャを提案します。本提案手法は、顔写真から似顔絵へのジオメトリ変換のみをモデル化するCariGeoGANと、外観から外観のみを変換するCariStyGAN、2つのGANから構成されています。
トレーニングデータには、顔の写真と似顔絵の両方の画像に対して63個の顔ランドマークを手作業でラベル付けする事で作成します。2つのGANをそれぞれ訓練し、堅牢なアーキテクチャを構築します。
また、ユーザは、形状の誇張度を制御することや、パラメータを調整もしくはカリカチュアの例を与えることで、カラーやテクスチャのスタイルも変更することが可能です。
左が入力画像。右が本提案手法の出力結果。
過去にも同研究はありますが、CariGANによって生成された似顔絵は、手描きのものに近く、同時に既存と比較してもアイデンティティをよりよく保持していると報告します。ただし、本研究は、顔に特化しているため、耳、毛など他の部位はカバーできないとします。