MIT CSAILなどの研究者らは、Generative Adversarial Networks（GAN）によって学習された構造を視覚化して理解するためのフレームワークを発表しました。
論文：GAN Dissection: Visualizing and Understanding Generative Adversarial Networks
著者：David Bau, Jun-Yan Zhu, Hendrik Strobelt2, Bolei Zhou4, Joshua B. Tenenbaum1, William T. Freeman1, Antonio Torralba
所属：MIT CSAIL, MIT-IBM Watson AI Lab, IBM Research, The Chinese University of Hong Kong
昨今、GANを用いたアプリケーションが多数存在します。フォトリアリスティックな画像を生成することなど実証されていますが、そのプロセスで何が何に影響を与え作用しているかを理解する意味合いで、十分に可視化されていないのが現状です。
そこで、本論文は、ユニットレベル、オブジェクトレベル、シーンレベルでGANを視覚化し理解するための分析フレームワークを提案します。各ユニットが、どのオブジェクトクラスに相関しているかを解析します。
具体的には、ユニットの生成を画像上にヒートマップとして形成し、事前に作成されたセグメンテーションネットワークを使用して、生成された画像内のピクセルにラベルを付けます。そして、これらの間のIoUを測定し比較することで、すべてのユニットとすべてのセグメンテーションを調べ、オブジェクトクラスと相関すると思われるユニットを特定します。
このことで、GANのプロセスにおいて、何が何に影響を与えているかの因果効果を理解することができ、また、これらを用いて、GANが間違いを引き起こす原因を把握するなどの細かい部分を理解することにも役立ち、より良いモデルを開発できるのではとしています。
また、本研究を応用したインタラクティブなペイントアプリケーション「GANpaint app」を実装しました。Web上でこちらから試すことが出来ます。
