カリフォルニア大学バークレー校の研究者らが、強化学習（RL）の新たなアルゴリズムを発表した。従来の時間差分学習（TD学習）に依存しない「分割統治」アプローチを採用し、長期のタスクにおけるスケーラビリティ問題を解決する画期的な手法である。現在、強化学習はオンポリシー法とオフポリシー法に大別される。PPOやGRPOといったオンポリシー法は、現在のポリシーで収集した新鮮なデータのみを使用するため、古いデータは破棄される。一方、オフポリシー法は過去の経験や人間のデモンストレーション、インターネット上のデータなど、あらゆる種類のデータを活用できる。ロボット工学や医療、対話システムなど、データ収集コストが高い分野では、オフポリシー法が不可欠である。
しかし、2025年の現在でも、オフポリシーRLのスケーラブルな実装は未だ確立されていない。従来のQ学習などTD学習に基づく手法は、長期のタスクでは拡張性に課題を抱えていた。今回紹介される新アルゴリズムは、このTD学習の枠組みを離れ、問題を小さく分割して解決する「分割統治」の考え方を適用する。これにより、長期の計画立案や複雑な環境下での学習効率が大幅に向上すると期待される。このアプローチは、データ活用の柔軟性を保ちつつ、計算効率を改善する点で大きな意義を持つ。オフポリシーRLの課題解決は、AIの汎用性向上に直結する重要な課題である。今回の研究は、その突破口となる可能性を秘めている。技術の詳細は研究チームのブログで公開されており、学界・産業界の注目を集めている。
