ベルリン工科大学やチューリッヒ工科大学などによる研究チームは、画像を思い出している眼球の動きから画像を特定するアプローチを発表しました。
論文：The Mental Image Revealed by Gaze Tracking
著者：Xi Wang, Andreas Ley, Sebastian Koch, David Lindlbauer, James Hays, Kenneth Holmqvist, Marc Alexa
所属：TU Berlin, ETH Zurich, Georgia Institute of Technology, Universität Regensburg
本論文は、画像を想起している時の眼球運動から空間的指標を推定し、データベースから画像を検索し特定するシステムを提案します。
これは、人間が思い出から画像を取り出すときに、その画像に合わせて目を動かすという心理学的事実からインスピレーションを得ています。本提案手法は、画像を思い出す際に動く眼球運動から特徴点の位置を抽出し、データベース内から最良の画像を一致させる計算を行います。
実験では、データセットから屋内と屋外の両方のシーンが含まれた100枚の画像を選択し、EyeLink 1000を用いて眼球をトラッキングします。参加者に対して画像を見てもらい、その直後に灰色一色に変わった画像に向かって見た画像を思い出してもらいます。そのトラッキングデータから、CNN（Convolutional Neural Networks）アーキテクチャを用いて、最適な画像をマッチングします。
次の実験では、美術館で20枚の絵を見てもらい、後から何も書いていないホワイトボードを見ながら想起してもいました。結果、眼球運動に基づく画像検索が計算上実行可能であるということを実証しました。その中でも、事前に画像の想起中に目を動かすように少し努力する指導を受けた参加者の方が、より高い精度レベルを達成できたことを報告しました。