エージェントのLLM推論は、1つの要求が分岐するたびに複数のサブエージェントが並列に動き、要約でコンテキストが縮んだり、ツールの待ち時間が長くなったりと、負荷の形が従来のチャットとは大きく違う。既存のPD分離(prefillとdecodeを別ノードに分ける構成)では、入力処理と逐次生成の比率が負荷によって変わるのに配分は固定か、変更に再起動が要る。さらにKVキャッシュの退避は直近利用順で決められるため、エージェントが後で再利用するはずの文脈が捨てられる。論文はこれを、配分とKV管理が互いに縛り合う構造の問題として整理する。
Evolving Infraの設計は3層に分かれる。まず、計算配分とKVキャッシュ管理を切り離す。ノードのエンジンを対称化し、prefillとdecodeを再起動なしで秒単位の順序で切り替えられるようにし、KVキャッシュはどのノードも読める共有ホストメモリプールに置く。次に、サブエージェントとコンテキスト管理を含む計算時間モデルでprefillとdecodeの負荷を予測し、プランナーがPD配分を選び、ルーターが各要求の配置を決める。最後に、エージェントの文脈管理からのシグナルでKVの転送と退避を決める。要約で置き換えられた履歴、終了したサブエージェントの文脈、転送で重複した複製など、参照する分岐がなくなったKVから退避し、再利用予定のKVを保持する。
なぜ直近利用順では足りないのか、論文はClaude Codeの実測を挙げる。359秒のサブエージェント呼び出しのあとのプロンプトは98%が既存のKVと一致する一方、12秒の要約(コンパクション)のあとは14%まで下がる。直近性ではKVの再利用を予測できないため、エージェント側の分岐情報が必要になる。システムの比較では、著者らの測定でDynamoがフェーズ切替に平均681秒かかり、再起動なしで切り替える先行システムは34回の切替で利用できたKV再利用の55.5%を失うと報告している。
評価: Dynamo比でスループット最大2.7倍、待ち時間最大4.1分の1
評価は、数学エージェントのPutnamBench、コーディングエージェントのClaude Code、コンピューターユースのOSWorld 2.0の3種のワークロードを、GLM-5.2とKimi K2.6で動かす構成だ。比較対象はNVIDIAのプロダクションサービング基盤Dynamo。主な実験は36基のGB300 GPUで、最大256基まで拡張した測定もある。著者らの報告では、単一エージェント負荷を定常負荷で動かしたとき、Evolving InfraはDynamo比でスループット最大2.7倍、平均のエンドツーエンド要求待ち時間は最大4.1分の1、P95 TTFT(最初のトークンまでの時間)は最大14分の1だった。最良の静的PD配分と比べてもスループットで最大38%上回った。
定常負荷(3ベンチマーク×3並行度)
- 条件
- 最大2.7倍
- Dynamo比
- スループット最大+38%
- 静的配分比
- 平均E2E待ち時間最大1/4.1、P95 TTFT最大1/14
- 待ち時間系の指標
変動負荷(数学→コンピューターユース)
- 条件
- 最大2.1倍
- Dynamo比
- スループット最大+28%
- 静的配分比
- オンラインでPD配分を適応(10分窓ごとに最適配分が3P6D→7P2Dへ移動)
- 待ち時間系の指標
数値はすべて著者らの実験報告(未査読プレプリント)。「Dynamo比」「静的配分比」はスループットの比で、Dynamo(NVIDIAのプロダクション基盤)と最良の静的PD配分が比較対象。「最大」はベンチマーク・並行度・負荷条件の別々の条件での最大値であり、同時達成を意味しない。TTFTは最初のトークンまでの時間。
負荷の構成が変わる場面では、PD配分を固定にできないことが数値に現れる。数学からコンピューターユースへワークロードが移り変わると、10分窓ごとの最適な配分は3P6Dから7P2Dまで動き、固定で最も良い配分(5P4D)でも最大24%のスループットを失う。Evolving Infraはこの変動にオンラインで追従し、Dynamo比で最大2.1倍、最良の静的配分比で28%多いスループットを報告している。
- 01 エージェント負荷
分岐・要約・待機
サブエージェントの分岐、コンテキストの要約、ツール待機が負荷の形を絶えず変える。
- 02 計算時間モデル
負荷の予測
サブエージェントとコンテキスト管理を含むオンラインのモデルでprefillとdecodeの負荷を予測する。
- 03 プランナーとルーター
PD配分と配置
負荷に合わせてPD配分を選び、各要求の配置を決める。再起動は不要。
- 04 対称エンジン
秒単位で切替
ノードがprefillとdecodeを再起動なしで切り替える。KVはホストメモリの共有プールに置かれる。
- 05 KV管理
分岐参照で退避
参照する分岐がなくなったKVから退避し、再利用予定のKVを保持する。
設計の構成と順序は論文4章・READMEのAbout。KVの退避条件は論文4.2・4.3・5.3節の記述。
arXiv投稿
arXiv:2611.12304のv1を投稿。
v2改訂
イントロの修正などでv2を公開(cs.DC)。
現時点の確認
GitHubリポジトリに実装・ベンチマーク・Dockerイメージ・再現手順(9GPUノードを約2時間占有)を確認。
日付はarXivのdatelineとREADMEの記載。2026-11-15時点の確認。
コードはGitHubで公開されている。リポジトリはMITライセンスで、SGLangの上流commit 9a489f8d2fから派生したエンジンとルーターコア、およびTrie実装はApache 2.0の別ライセンスファイルで提供され、NOTICEに第三者の成果物を列挙する。GB300向けのDockerイメージ、ベンチマーク一式、Hugging Faceのエージェントトレースも公開され、再現手順は9GPUノードを約2時間占有する規模だ。
PD分離自体や共有KVキャッシュは既存技術であり、論文の主張の中心は、エージェントの分岐や文脈管理というアプリケーション側の情報を推論基盤の資源管理に反映させた点にある。Swarm型エージェントやコーディングサービスでは待ち時間が体感品質に直結するため、こうした設計は実用候補になる。一方で、レイテンシの改善がそのままGPU台数や推論原価の同率削減を意味するとは限らず、アプリ側で分岐の識別やコンテキスト管理のメタデータを基盤に渡す連携も前提になる。数値はすべて著者らの実験による未査読プレプリントの報告で、独立した再現はまだ確認できていない。
出典
- arXiv: Evolving Infra: Agent-Adaptive LLM Serving at Scale投稿日(v1 2026-11-09、v2 2026-11-12)、著者11名、要約(PD分離の限界、計算配分とKV管理の分離、フェーズ切替)。
- 同論文のHTML本文(arXiv)6章の評価(3ワークロード、GLM-5.2とKimi K2.6、36基のGB300、定常負荷で2.7倍・+38%・1/4.1・1/14、変動負荷で2.1倍・+28%)、10分窓の配分移動(3P6D→7P2D)と固定配分の24%損失、KV再利用の実測(コンパクション後14%)とDynamoの切替681秒・Arrowの55.5%損失、4章の設計。
- GitHub: mit-han-lab/EvolvingInfra(README)6機関の所属表示と対応著者、MITとSGLang由来部分(upstream commit 9a489f8d2f)のApache 2.0、GB300向けDockerイメージ(v0.1.0)、再現手順(9ノード約2時間)、Hugging Faceのトレース公開、Aboutの3設計。
- Evolving Infra WebsiteREADMEに記載のプロジェクトサイト(本稿の数値には使用していない)。
出典の確認日 2026.11.15