AWSは、複数ステップにわたる業務を遂行するAIエージェントの訓練基盤を公開した。一回の応答ではなく、ツール操作やエラー復旧を含む一連の対話シーケンス全体を評価し学習させる「マルチターン強化学習」を、自社モデルNovaとSageMaker HyperPod上で実現する。

単発応答の最適化を超え、対話シーケンス全体を評価

従来のRLHFは、人間のフィードバックに基づき一回の回答の質を向上させる手法だった。しかし、データベース照会やAPI呼び出しを伴う実務エージェントでは、数ステップ後の結果まで考慮しなければ行動の良し悪しを判断できない。今回AWSが示したマルチターンRLは、Group Relative Policy Optimizationを用い、対話の流れ全体に報酬ルーブリックを適用する。Wordleを題材としているが、この構造は顧客の独自業務環境にそのまま転用可能な設計になっている。

「Nova Forge」が担う会話状態の追跡と報酬ルーティング

この基盤の中核にはAmazon Nova ForgeのSDKが存在する。モデルが生成した応答をAmazon ECS上で動くユーザー定義の報酬環境に受け渡し、スコアを計算させ、その結果をSageMaker HyperPodの訓練Podに返送する。この仲介層がマルチターンにわたる会話状態を管理するため、開発者はステップごとの文脈を意識せずに報酬設計に集中できる。モデルと環境の通信はSQSを介した非同期メッセージングで実装され、伸縮性の高い構成となっている。

イベント駆動パイプラインがもたらすGPU利用効率の変革

特徴的なのは、AWS Step FunctionsとAmazon EventBridgeを組み合わせた完全なイベント駆動型パイプラインである。ユーザーがS3にデータをアップロードすると自動で訓練が始まり、終了すればGPUインスタンスを含む計算資源は解放される。AWS CDKによる一度のデプロイでVPCやEKSクラスタといった永続基盤を整えた後、訓練実行のたびにGPUリソースが動的に生成されるため、高額なP5インスタンスの遊休時間を大幅に削減できる。この設計は、試験的な訓練を繰り返す開発段階のコスト管理に直接的な効果をもたらす。

エンタープライズ自律エージェントの「訓練手段」獲得競争へ

生成AIの価値が「情報を出力するチャット」から「業務プロセスを実行するエージェント」へ移るなか、強化学習の設計ノウハウと実行基盤の整備は次の差別化要因になる。AWSは、SageMaker AI上でサーバーレス版のマルチターンRLも提供しているが、今回のHyperPod向け基盤はより深いカスタマイズを求める企業を対象としている。エージェントの「思考連鎖」を直接最適化する手法をインフラごと提供する動きは、MicrosoftのAutoGenやGoogleのAgent Development Kitとも競合しつつ、AIの自律性を組織へ実装する工程を加速させるだろう。