NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

THE NEWS DESK

AIニュース

公式発表や本人の発言をもとに、
AI企業や研究者の動きを伝えます。

すべてのニュース

1件新しい順

  1. プロダクトGeorgia Tech・MIT HAN Lab出典 4件

    Georgia Techら、エージェント負荷に自動適応するLLM推論基盤「Evolving Infra」を公表――NVIDIA Dynamo比で平均待ち時間最大1/4.1、P95 TTFT最大1/14

    Georgia Tech、MIT HAN Lab、UC Berkeleyなどの研究チームは2026年11月9日、AIエージェントの負荷の変化に推論基盤側で自動適応するサービング枠組み「Evolving Infra」をarXivで公表した。prefillとdecodeを別ノードに分けるPD分離構成では、エージェント負荷の変動に配分を追従させにくく、再利用予定のKVキャッシュも退避してしまう。Evolving Infraは計算配分とKVキャッシュ管理を切り離し、ノードが再起動なしで秒単位でprefillとdecodeを切り替え、エージェントの分岐情報からKVの退避を決める。著者らの実験では、数学・コーディング・コンピューターユースのエージェントをGLM-5.2とKimi K2.6で動かし、最大256基のGB300 GPUで、NVIDIAのDynamoと比べて定常負荷時のスループットは最大2.7倍、平均リクエスト待ち時間は最大4.1分の1、P95 TTFTは最大14分の1だった。数値は著者らの報告で、各最大値は別条件のものだ。