大規模言語モデルの推論では、長文入力による処理待ちが応答速度を不安定にする課題があった。AWSは、事前処理と逐次生成を別のGPU群に分離する「Disaggregated Prefill and Decode」を、SageMaker HyperPod上のvLLM実装で提供する。高速ネットワークEFAにより、実用性を備えた分離推論がマネージド環境で可能になる。

二段階推論の混雑を分離する必然性

LLM推論には、プロンプト全体を並列処理しKVキャッシュを生成する「Prefill」と、1トークンずつ生成する「Decode」という性質の異なる二段階が存在する。両者が同一GPU上で混在すると、長大なPrefill処理が他のリクエストのDecodeを停滞させ、レイテンシの急上昇を引き起こす。この干渉は、チャットやRAGなど長文プロンプトが頻発する対話型サービスで顕著になる。今回の手法は、計算負荷の高いPrefillと、メモリ帯域を消費するDecodeを物理的に分離し、相互の待ち時間を構造的に除去する。

EFAとNIXLでKVキャッシュ転送の壁を破る

分離推論の実用化で課題となるのが、Prefillで生成したKVキャッシュをDecode用GPUへ高速に転送する仕組みだ。AWSの設計では、Elastic Fabric AdapterとRDMAを活用し、NIXL経由でキャッシュをGPU間で直接移動させる。さらにvLLMのキャッシュ管理機構LMCacheが、計算済みデータを層ごとに逐次転送することで、GPU計算と通信のオーバーラップを実現する。高速インターコネクトを持たない環境では転送遅延が利点を相殺するが、この構成はクラウドならではのネットワーク性能を最大限に引き出した形だ。

混在トラフィックをさばくルーターの判断

分離構成では、リクエストをPrefill経由させるかDecodeのみで処理するかの振り分けが新たな制御点となる。HyperPod上の実装はvLLMのルーターを拡張し、プロンプトのトークン数に応じて経路を動的に切り替える。一定長以下の短いプロンプトは、KVキャッシュ転送のオーバーヘッドを避けるため直接Decoderへ回される。これにより、長文と短文が混在するリアルなサービスでも、開発者が手動でルーティングを書くことなく、両者のパフォーマンスを両立できる。

企業のAI推論基盤にもたらす選択肢の変化

この機能は、単一ノード最適化を超えた推論基盤の運用設計に踏み込むものだ。タイムトゥファーストトークンとトークン間レイテンシを独立して調整できるため、長文要約と即時応答が求められるエージェントの両方を同一エンドポイントで安定稼働させやすくなる。vLLMのコミュニティバージョンで培われた最適化技術が、マネージドサービスとして利用可能になることで、基盤モデルを自社運用する企業の設計領域は、GPU選定からトラフィック制御へと一段拡大する。