ブリティッシュコロンビア大学の研究チームが開発した「ALLSTEPS」は、二足歩行シミュレーションにおいて、ランダムに生成される飛び石から落下さず歩行するカリキュラムベースの強化学習法だ。
二足歩行による移動はコンピュータアニメーションやロボット工学の基本的な問題であり、データ駆動型や物理学に基づいた解決策が数多く提案されているが、ランダムな飛び石地形をナビゲートする研究はあまり反映されていない。
本研究ではこの課題に挑戦するため、飛び石における制御ポリシーをDeep reinforcement learning (DRL)を用いてゼロから学習する。ポリシーの能力に応じてタスクの難易度を徐々に上げていくカリキュラム学習を採用。進捗状況に応じて、地形難易度を動的に調整することで学習効率を向上させる。4つの異なるカリキュラムを評価し、それぞれが異なる原理に基づいて学習を進め、カリキュラムなしのベースラインと比較する。
ヒューマノイド、大型ロボット、モンスターの3つの異なるキャラクターを用いて実験を行い、ランダムに生成された飛び石地形でも安定して二足歩行できることを実証した。またカリキュラム学習の重要性も実証した。