イェール大学の研究チームは、fMRIを用いて脳活動から人がどこを注視しているかを機械学習を用いて推定し視覚化するアプローチを発表しました。
論文：Predicting eye movement patterns from fMRI responses to natural scenes
著者：Thomas P. O’Connell, Marvin M. Chun
所属：Yale University, Yale School of Medicine
上段：参加者にfMRIで表示した画像。下段：参加者の脳活動から推定された目の動きを元画像に色付きで関心領域をオーバーレイしている画像。白とピンクの領域は、人々が注意を向けた場所を示している。
本論文は、fMRIの活動から眼球運動パターンをCNN（Convolutional Neural Network）を用いて直接予測し、活動マップを元画像にオーバーレイし再構成するアプローチを提案します。ゼロショット方式で眼の動きも予測しました。
視線追跡を研究するアプローチは多くありますが、本提案手法は、脳がどのようにこの能力を調整するか、どのように脳がその複雑な計算を素早く実行するか、正確な脳計測を使用して、自然な風景を見るときに人の目がどのように動くかを推定します。複雑で自然なシーンに対する脳の反応を分析することで、人々が注意や視線をどこに向けるのかを予測できることを示し、自動運転車の開発など、人間の視覚システムの理解をより深めるとします。