Facebook AI ResearchやFacebook Reality Labsなどによる研究チームは、写実的な3D環境でエージェントを高速で訓練できるプラットフォーム「Habitat」と写実的3Dデータセット「Replica」を発表しました。
Habitat
論文：Habitat: A Platform for Embodied AI Research
Manolis Savva ¹,⁴ Abhishek Kadian ¹ Oleksandr Maksymets ¹*
Yili Zhao ¹ Erik Wijmans ¹,²,³ Bhavana Jain ¹ Julian Straub², Jia Liu ¹ Vladlen Koltun⁵, Jitendra Malik ¹,⁶ Devi Parikh ¹,³ Dhruv Batra ¹,³
¹ Facebook AI Research, ² Facebook Reality Labs, ³ Georgia Institute of Technology, ⁴ Simon Fraser University, ⁵ Intel Labs, ⁶ UC Berkeley
本論文は、写実的な3D環境でエージェントを訓練するように設計されたシミュレーションプラットフォームを提案します。室内ロボットに対して「机の上にラップトップがあれば取ってきて欲しい」という指示を出した場合、それを遂行するには、視覚認識、言語理解、複雑な環境でのナビゲーションなど幅広いスキルが必要です。その中でも、後者の変化する環境内でも正確にナビゲーションできる学習アプローチに焦点を当てます。
単純明快な提案としては、エージェントを物理的な世界で直接訓練することです。しかしながら、実世界でロボットを訓練するのは、危険、遅い、高価、制御が困難など非効率です。そこで考えられるのは、ヴァーチャルで訓練することであり、本提案はより現実に近い写実的な3Dシミュレーションの中で実行することで課題を検証します。本提案は、シングルGPUで1万fpsを超えるマルチプロセスを実現できるハイパフォーマンスな3Dシミュレータ「Habitat-Sim」と、異なるクラスのメソッドと異なる3Dシーンデータセットで訓練しベンチマークを行える「Habitat-API」で構成されます。さらに、様々なシミュレータやデータセットに対応します。これらのことで、見る、話す、推論する、そして同時に計画するといったアシスタントロボット構築のための効率的な訓練を可能にします。オープンソースとして公開されています。
Replica
また、Habitatプラットフォームで用いるために生成した屋内空間の現実的な3D再構築データセット「Replica」もオープンソースとして公開しました。鏡の反射も再現する高性能なデータセットです。18種類の空間を収録します。
論文：The Replica Dataset: A Digital Replica of Indoor Spaces
Julian Straub¹, Thomas Whelan¹, Lingni Ma¹, Yufan Chen1, Erik Wijmans²,³, Simon Green¹, Jakob J. Engel¹, Raul Mur-Artal¹, Carl Ren¹ , Shobhit Verma¹, Anton Clarkson¹, Mingfei Yan¹, Brian Budge¹, Yajie Yan¹, Xiaqing Pan¹, June Yon¹, Yuyang Zou¹, Kimberly Leon¹, Nigel Carter¹, Jesus Briales¹, Tyler Gillingham¹,Elias Mueggler¹, Luis Pesqueira¹, Manolis Savva²,⁴, Dhruv Batra²,³, Hauke M. Strasdat¹, Renzo De Nardi¹, Michael Goesele¹, Steven Lovegrove¹, Richard Newcombe¹
¹ Facebook Reality Labs, ² Facebook AI Research, ³ Georgia Institute of Technology, ⁴ Simon Fraser University