MIT（マサチューセッツ工科大学）、トロント大学、マギル大学、リュブリャナ大学の研究者らは、ロボットに家事などの日常的なタスク含め多様なタスクを学習させるための訓練用3Dシミュレータ「VirtualHome」を発表しました。
論文：VirtualHome: Simulating Household Activities via Programs
著者：Xavier Puig, Kevin Ra, Marko Boben, Jiaman Li, Tingwu Wang,Sanja Fidler, Antonio Torralba
本稿は、エージェントに特定のタスクに到達するための必要な一連のアクションを学習させるシステムを提案します。
ロボットは、人間と違って1を言えば10理解するものではなく、より直接的な指示を必要とします。本システムは、ロボットが正常にタスクを実行するために必要なすべてのステップを学習することを目指します。
提案手法では、最初に家庭内で起こる様々なアクションの説明を収集しプログラムにします。そして、収集したデータセットを使用して、プログラムによって定義されたタスクを実行する人と環境のビデオを生成し、エージェントを駆動させます。
さまざまなアクション約3,000のプログラム（分類したサブタスク含む）を使用してシステムを訓練します。例えば、「コーヒーを作る」タスク内に「カップをつかむ」サブタスクも含まれます。
訓練後のエージェントは、リビングルーム、キッチン、ダイニングルーム、ベッドルーム、ホームオフィスなどの8つのシーンで、1,000件のインタラクションを実行可能となります。また、ロボットに家事をするための訓練システムだけでなく、自然言語を使用して記述された家庭用タスクの大きなデータベースでもあります。
将来的には、実際のビデオを使用してロボットを訓練し、ロボットがYouTubeを見て学習することができるようにしたいと考えており、エージェントがタスクを正しく実行したときに肯定的なフィードバックを得る報酬学習システムの実装にも取り組みたいともしています。