スタンフォード大学など、単眼カメラから人の動きと物体との相互作用における因果関係を学習する機械学習モデルを発表。行動予測に活用など

スタンフォード大学やUberATGなどによる研究チームは、単眼カメラから人の動きと物体との相互作用における因果関係を学習する機械学習モデルを発表しました。

論文:Learning a Generative Model for Multi-Step Human-Object Interactions from Videos

著者:He Wang, Sören Pirk, Ersin Yumer, Vladimir G. Kim,  Ozan Sener, Srinath Sridhar, Leonidas J. Guibas
所属:Stanford University, Uber ATG, Adobe Research, Intel Labs

本論文は、単眼カメラのRGBビデオから人間の手の動きとオブジェクトとの相互作用における因果関係を学習することによって、多様なマルチステップインタラクションを再構築するために使用できる生成モデルを提案します。

本提案手法は、相互作用を符号化するため、そのアクションの含まれるオブジェクト、オブジェクトの状態、およびそれらの因果関係を記述するアクションプロットを作成し、アクションプロットを使用して、Recurrent Neural Network(RNN)からモデルを訓練します。

訓練したモデルを使用することで、インタラクション予測やアニメーション合成、ロボット行動計画などのアプリケーション作成に活かすことができます。映像では、将来の行動予測として、ユーザがコップを欲しい時にロボットエージェントが移動して手元に動いてくるといったことをデモンストレーションを披露します。

 

About

テクノロジーの最新研究を紹介するWebメディア。山下が個人運営と執筆を行う(連載除く)。ITmedia NEWSさんでも執筆中。Seamlessをサポートできるプログラムも実施中。

yamashita.mailer(a)gmail.com

連載

ページ上部へ戻る