MITやAdobeら、グラフィックデザインにおいて見る人が重要と認識する箇所をリアルタイムにヒートマップ予測する機械学習モデルを論文にて発表

MIT CSAIL、ハーバード大学SEAS、Adobe Systems、Adobe Researchの研究者らは、グラフィックデザインとデータビジュアライゼーションにおいて、機械学習で人が重要と認識する箇所をリアルタイムに予測する提案を論文にて発表しました。

（左が入力画像で右が重要度を予測した画像。重要度が高いほど暖かい色が示される）

本稿では、ポスターや広告などのグラフィックデザイン、データを視覚化した資料、この2つにおいて、人がその範囲内でどう見ているかを重要度ヒートマップでフィードバック提供してくれる相対的重要度を予測するニューラルネットワークモデルを提案します。

このことで、作成者は、見る側の視点を考慮しながらデザインを構築することができ、パフォーマンスを最大化できるとしています。

提案手法で使用される機械学習は、FCN（全層畳み込みネットワーク：Fully Convolution Network）をベースにしています。全ての層が畳み込み層で構成されるニューラルネットワークのことで、ピクセル単位で分類予測したり、End-to-End学習ができる手法です。

データセットは、ぼやけた画像から見たい個所をクリックしてもらうBubbleViewという手法などで集めたデータや、グラフィックデザインでは同じくBubbleViewで取得したデータセットGDI（Graphic Design Importance）Datasetを使用します。

また、本提案手法が組み込まれたインタラクティブ設計ツールとして、ブラウザ上ですぐに試せるデモも公開されており試すことができます。

デモでは、グラフィックデザインとデータビジュアライゼーション両方を試すことができ、テキストや画像を挿入して、位置、色、フォント、コントラスト、サイズなどを変更しながらリアルタイムに予測される重要度ヒートマップを確認しデザインを作成することができます。

関連