NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

Georgia Techら、エージェント負荷に自動適応するLLM推論基盤「Evolving Infra」を公表――NVIDIA Dynamo比で平均待ち時間最大1/4.1、P95 TTFT最大1/14

Georgia Tech、MIT HAN Lab、UC Berkeleyなどの研究チームは2026年11月9日、AIエージェントの負荷の変化に推論基盤側で自動適応するサービング枠組み「Evolving Infra」をarXivで公表した。prefillとdecodeを別ノードに分けるPD分離構成では、エージェント負荷の変動に配分を追従させにくく、再利用予定のKVキャッシュも退避してしまう。Evolving Infraは計算配分とKVキャッシュ管理を切り離し、ノードが再起動なしで秒単位でprefillとdecodeを切り替え、エージェントの分岐情報からKVの退避を決める。著者らの実験では、数学・コーディング・コンピューターユースのエージェントをGLM-5.2とKimi K2.6で動かし、最大256基のGB300 GPUで、NVIDIAのDynamoと比べて定常負荷時のスループットは最大2.7倍、平均リクエスト待ち時間は最大4.1分の1、P95 TTFTは最大14分の1だった。数値は著者らの報告で、各最大値は別条件のものだ。

エージェントのLLM推論は、1つの要求が分岐するたびに複数のサブエージェントが並列に動き、要約でコンテキストが縮んだり、ツールの待ち時間が長くなったりと、負荷の形が従来のチャットとは大きく違う。既存のPD分離(prefillとdecodeを別ノードに分ける構成)では、入力処理と逐次生成の比率が負荷によって変わるのに配分は固定か、変更に再起動が要る。さらにKVキャッシュの退避は直近利用順で決められるため、エージェントが後で再利用するはずの文脈が捨てられる。論文はこれを、配分とKV管理が互いに縛り合う構造の問題として整理する。

Evolving Infraの設計は3層に分かれる。まず、計算配分とKVキャッシュ管理を切り離す。ノードのエンジンを対称化し、prefillとdecodeを再起動なしで秒単位の順序で切り替えられるようにし、KVキャッシュはどのノードも読める共有ホストメモリプールに置く。次に、サブエージェントとコンテキスト管理を含む計算時間モデルでprefillとdecodeの負荷を予測し、プランナーがPD配分を選び、ルーターが各要求の配置を決める。最後に、エージェントの文脈管理からのシグナルでKVの転送と退避を決める。要約で置き換えられた履歴、終了したサブエージェントの文脈、転送で重複した複製など、参照する分岐がなくなったKVから退避し、再利用予定のKVを保持する。

なぜ直近利用順では足りないのか、論文はClaude Codeの実測を挙げる。359秒のサブエージェント呼び出しのあとのプロンプトは98%が既存のKVと一致する一方、12秒の要約(コンパクション)のあとは14%まで下がる。直近性ではKVの再利用を予測できないため、エージェント側の分岐情報が必要になる。システムの比較では、著者らの測定でDynamoがフェーズ切替に平均681秒かかり、再起動なしで切り替える先行システムは34回の切替で利用できたKV再利用の55.5%を失うと報告している。

評価: Dynamo比でスループット最大2.7倍、待ち時間最大4.1分の1

評価は、数学エージェントのPutnamBench、コーディングエージェントのClaude Code、コンピューターユースのOSWorld 2.0の3種のワークロードを、GLM-5.2とKimi K2.6で動かす構成だ。比較対象はNVIDIAのプロダクションサービング基盤Dynamo。主な実験は36基のGB300 GPUで、最大256基まで拡張した測定もある。著者らの報告では、単一エージェント負荷を定常負荷で動かしたとき、Evolving InfraはDynamo比でスループット最大2.7倍、平均のエンドツーエンド要求待ち時間は最大4.1分の1、P95 TTFT(最初のトークンまでの時間)は最大14分の1だった。最良の静的PD配分と比べてもスループットで最大38%上回った。

図解定常負荷と変動負荷の結果(論文6章と6.3節の著者報告による)
  • 定常負荷(3ベンチマーク×3並行度)

    条件
    最大2.7倍
    Dynamo比
    スループット最大+38%
    静的配分比
    平均E2E待ち時間最大1/4.1、P95 TTFT最大1/14
    待ち時間系の指標
  • 変動負荷(数学→コンピューターユース)

    条件
    最大2.1倍
    Dynamo比
    スループット最大+28%
    静的配分比
    オンラインでPD配分を適応(10分窓ごとに最適配分が3P6D→7P2Dへ移動)
    待ち時間系の指標

数値はすべて著者らの実験報告(未査読プレプリント)。「Dynamo比」「静的配分比」はスループットの比で、Dynamo(NVIDIAのプロダクション基盤)と最良の静的PD配分が比較対象。「最大」はベンチマーク・並行度・負荷条件の別々の条件での最大値であり、同時達成を意味しない。TTFTは最初のトークンまでの時間。

負荷の構成が変わる場面では、PD配分を固定にできないことが数値に現れる。数学からコンピューターユースへワークロードが移り変わると、10分窓ごとの最適な配分は3P6Dから7P2Dまで動き、固定で最も良い配分(5P4D)でも最大24%のスループットを失う。Evolving Infraはこの変動にオンラインで追従し、Dynamo比で最大2.1倍、最良の静的配分比で28%多いスループットを報告している。

図解Evolving Infraの適応の流れ(論文4章とREADMEのAboutによる)
  1. 01 エージェント負荷

    分岐・要約・待機

    サブエージェントの分岐、コンテキストの要約、ツール待機が負荷の形を絶えず変える。

  2. 02 計算時間モデル

    負荷の予測

    サブエージェントとコンテキスト管理を含むオンラインのモデルでprefillとdecodeの負荷を予測する。

  3. 03 プランナーとルーター

    PD配分と配置

    負荷に合わせてPD配分を選び、各要求の配置を決める。再起動は不要。

  4. 04 対称エンジン

    秒単位で切替

    ノードがprefillとdecodeを再起動なしで切り替える。KVはホストメモリの共有プールに置かれる。

  5. 05 KV管理

    分岐参照で退避

    参照する分岐がなくなったKVから退避し、再利用予定のKVを保持する。

設計の構成と順序は論文4章・READMEのAbout。KVの退避条件は論文4.2・4.3・5.3節の記述。

図解公開の経過(arXivとGitHubによる)
  1. arXiv投稿

    arXiv:2611.12304のv1を投稿。

  2. v2改訂

    イントロの修正などでv2を公開(cs.DC)。

  3. 現時点の確認

    GitHubリポジトリに実装・ベンチマーク・Dockerイメージ・再現手順(9GPUノードを約2時間占有)を確認。

日付はarXivのdatelineとREADMEの記載。2026-11-15時点の確認。

コードはGitHubで公開されている。リポジトリはMITライセンスで、SGLangの上流commit 9a489f8d2fから派生したエンジンとルーターコア、およびTrie実装はApache 2.0の別ライセンスファイルで提供され、NOTICEに第三者の成果物を列挙する。GB300向けのDockerイメージ、ベンチマーク一式、Hugging Faceのエージェントトレースも公開され、再現手順は9GPUノードを約2時間占有する規模だ。

PD分離自体や共有KVキャッシュは既存技術であり、論文の主張の中心は、エージェントの分岐や文脈管理というアプリケーション側の情報を推論基盤の資源管理に反映させた点にある。Swarm型エージェントやコーディングサービスでは待ち時間が体感品質に直結するため、こうした設計は実用候補になる。一方で、レイテンシの改善がそのままGPU台数や推論原価の同率削減を意味するとは限らず、アプリ側で分岐の識別やコンテキスト管理のメタデータを基盤に渡す連携も前提になる。数値はすべて著者らの実験による未査読プレプリントの報告で、独立した再現はまだ確認できていない。

出典

  1. arXiv: Evolving Infra: Agent-Adaptive LLM Serving at Scale投稿日(v1 2026-11-09、v2 2026-11-12)、著者11名、要約(PD分離の限界、計算配分とKV管理の分離、フェーズ切替)。
  2. 同論文のHTML本文(arXiv)6章の評価(3ワークロード、GLM-5.2とKimi K2.6、36基のGB300、定常負荷で2.7倍・+38%・1/4.1・1/14、変動負荷で2.1倍・+28%)、10分窓の配分移動(3P6D→7P2D)と固定配分の24%損失、KV再利用の実測(コンパクション後14%)とDynamoの切替681秒・Arrowの55.5%損失、4章の設計。
  3. GitHub: mit-han-lab/EvolvingInfra(README)6機関の所属表示と対応著者、MITとSGLang由来部分(upstream commit 9a489f8d2f)のApache 2.0、GB300向けDockerイメージ(v0.1.0)、再現手順(9ノード約2時間)、Hugging Faceのトレース公開、Aboutの3設計。
  4. Evolving Infra WebsiteREADMEに記載のプロジェクトサイト(本稿の数値には使用していない)。

出典の確認日 2026.11.15

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む