Seamless

Virtual Reality News

ボン大学、機械学習を用いて、人の将来の行動予測(活動のタイミングと継続時間)を推定するシステムを発表

ボン大学の研究者らは、人間における将来の活動のタイミングと継続時間を予測できる機械学習を用いたシステムを発表しました。

論文:When will you do what? – Anticipating Temporal Occurrences of Activities
著者:Yazan Abu Farha, Alexander Richard, Juergen Gall
GitHub:yabufarha/anticipating-activities

本稿は、5分以内に起こるすべての行動を推定するために、RNN(Recurrent Neural Network)を用いた方法と、CNN(Convolutional Neural Network)を用いた方法の2つのアプローチを提案します。

提案手法を使用すると、料理などの典型的な一連の動作をビデオシーケンスから学習し、新しい状況において調理人がいつどの時点で何を行うのかを予測することを可能にします。

トレーニングデータの1つには、17種類の異なる動作が含まれる約6分ほどのサラダ調理ビデオ50本が用いられ、ビデオには、アクションが開始された時刻と完了までの時間の詳細も含まれています。

実験では、コンピュータにビデオの20~30%の情報を与え、残りの部分で何が起こるかを予測させます。結果、将来が長くなればなるほど精度は下がるものの、少し先だと最大44%の精度で予測しました。朝食のデータセットだと、最大61%の精度を実証しました。