Facebookなど、現実的な3D環境でエージェントを高速訓練できるプラットフォーム「Habitat」と写実的屋内3Dデータセット「Replica」を公開

Facebook AI ResearchやFacebook Reality Labsなどによる研究チームは、写実的な3D環境でエージェントを高速で訓練できるプラットフォーム「Habitat」と写実的3Dデータセット「Replica」を発表しました。

Habitat


論文:Habitat: A Platform for Embodied AI Research

Manolis Savva ¹,⁴  Abhishek Kadian ¹ Oleksandr Maksymets ¹* 
Yili Zhao ¹ Erik Wijmans ¹,²,³  Bhavana Jain ¹  Julian Straub², Jia Liu ¹  Vladlen Koltun⁵, Jitendra Malik ¹,⁶  Devi Parikh ¹,³ Dhruv Batra ¹,³

 ¹ Facebook AI Research, ² Facebook Reality Labs, ³ Georgia Institute of Technology, ⁴ Simon Fraser University, ⁵ Intel Labs, ⁶ UC Berkeley

本論文は、写実的な3D環境でエージェントを訓練するように設計されたシミュレーションプラットフォームを提案します。室内ロボットに対して「机の上にラップトップがあれば取ってきて欲しい」という指示を出した場合、それを遂行するには、視覚認識、言語理解、複雑な環境でのナビゲーションなど幅広いスキルが必要です。その中でも、後者の変化する環境内でも正確にナビゲーションできる学習アプローチに焦点を当てます。

単純明快な提案としては、エージェントを物理的な世界で直接訓練することです。しかしながら、実世界でロボットを訓練するのは、危険、遅い、高価、制御が困難など非効率です。そこで考えられるのは、ヴァーチャルで訓練することであり、本提案はより現実に近い写実的な3Dシミュレーションの中で実行することで課題を検証します。本提案は、シングルGPUで1万fpsを超えるマルチプロセスを実現できるハイパフォーマンスな3Dシミュレータ「Habitat-Sim」と、異なるクラスのメソッドと異なる3Dシーンデータセットで訓練しベンチマークを行える「Habitat-API」で構成されます。さらに、様々なシミュレータやデータセットに対応します。これらのことで、見る、話す、推論する、そして同時に計画するといったアシスタントロボット構築のための効率的な訓練を可能にします。オープンソースとして公開されています。

Replica


また、Habitatプラットフォームで用いるために生成した屋内空間の現実的な3D再構築データセット「Replica」もオープンソースとして公開しました。鏡の反射も再現する高性能なデータセットです。18種類の空間を収録します。

論文:The Replica Dataset: A Digital Replica of Indoor Spaces

Julian Straub¹, Thomas Whelan¹, Lingni Ma¹, Yufan Chen1, Erik Wijmans²,³, Simon Green¹, Jakob J. Engel¹, Raul Mur-Artal¹, Carl Ren¹ , Shobhit Verma¹, Anton Clarkson¹, Mingfei Yan¹, Brian Budge¹, Yajie Yan¹, Xiaqing Pan¹, June Yon¹, Yuyang Zou¹, Kimberly Leon¹, Nigel Carter¹, Jesus Briales¹, Tyler Gillingham¹,Elias Mueggler¹, Luis Pesqueira¹, Manolis Savva²,⁴, Dhruv Batra²,³, Hauke M. Strasdat¹, Renzo De Nardi¹, Michael Goesele¹, Steven Lovegrove¹, Richard Newcombe¹

¹ Facebook Reality Labs, ² Facebook AI Research, ³ Georgia Institute of Technology, ⁴ Simon Fraser University

About

テクノロジー系の最新論文を紹介しているWebメディアです。山下が個人で運営し、執筆も連載除いて行なっています。yamashita.mailer(a)gmail.com

Seamlessをサポートできるプログラムも行なっています。

連載

ページ上部へ戻る