イェール大学、fMRIを用いて脳活動から人の眼球運動をCNNを用いて推定し視覚化するアプローチを発表

イェール大学の研究チームは、fMRIを用いて脳活動から人がどこを注視しているかを機械学習を用いて推定し視覚化するアプローチを発表しました。

論文:Predicting eye movement patterns from fMRI responses to natural scenes
著者:Thomas P. O’Connell, Marvin M. Chun
所属:Yale University, Yale School of Medicine

上段:参加者にfMRIで表示した画像。下段:参加者の脳活動から推定された目の動きを元画像に色付きで関心領域をオーバーレイしている画像。白とピンクの領域は、人々が注意を向けた場所を示している。

本論文は、fMRIの活動から眼球運動パターンをCNN(Convolutional Neural Network)を用いて直接予測し、活動マップを元画像にオーバーレイし再構成するアプローチを提案します。ゼロショット方式で眼の動きも予測しました。

視線追跡を研究するアプローチは多くありますが、本提案手法は、脳がどのようにこの能力を調整するか、どのように脳がその複雑な計算を素早く実行するか、正確な脳計測を使用して、自然な風景を見るときに人の目がどのように動くかを推定します。複雑で自然なシーンに対する脳の反応を分析することで、人々が注意や視線をどこに向けるのかを予測できることを示し、自動運転車の開発など、人間の視覚システムの理解をより深めるとします。

ABOUT

 本サイト(Seamless/シームレス)は、2014年に始めた先端テクノロジーの研究を論文ベースで記事にしているWebメディアです。山下が個人で運営し、執筆を行っています。現在は主に寄稿(ITmedia NEWS)と、Seamless Journalに専念しています。

連絡先:yamashita(at)seamless.jp
Subscribe:TwitterFacebookHatenaNewsPicks

ゲスト連載:プロジェクションマッピング技術の変遷 岩井大輔

 Seamless Journalとは、月額10ドルの課金で厳選した最新論文がほぼ毎日メールボックスに届くというものです。記事にならない気になる論文をお届けします。決済はPatreonを介して、クレジットカードおよびPayPalで行え、解約も同サービスからいつでも可能です。お申し込みはこちらから

ページ上部へ戻る