エージェントのタスクは、LLMの推論とサンドボックスやツールの呼び出しを交互に繰り返す。従来のLLMサービングは最初のトークンまでの時間(TTFT)やトークンごとの時間(TPOT)のようなリクエスト単位の指標を最適化するが、評価や学習ではバッチ全体が終わるまで次の工程が待つ。Ant GroupのLingチーム(著者9名)は2026年11月12日、このバッチ完了時間を減らす協調最適化の論文をarXivで公開した。
「バッチの完了時間は開発効率に影響する。そこで私たちの焦点は、従来のサービングが最適化してきたリクエスト単位のレイテンシではなく、バッチのすべてのタスクを完了するのに必要な時間である。」
Batch completion time therefore affects development efficiency, motivating our focus on reducing batch makespan, the time required to complete all tasks in a batch, rather than the request-level latency typically optimized in conventional serving, such as time to first token (TTFT) and time per output token (TPOT).
4つの最適化を組み合わせる
対象はKVキャッシュとrecurrent stateを併用するハイブリッドモデルだ。最初の施策は、作業量に基づく容量モデルがGPUメモリをKVキャッシュとrecurrent stateに配分し、再計算を抑える推奨サンプル並列数を出す。2つ目は、trajectory labelを使った負荷境界型一貫性ハッシング(LBCH)ルーティングでワーカーへの親和性と負荷の両立を図り、routing-prefixスケジューリングで直近の経路を優先してキャッシュ再利用を促す。3つ目は、サンプルの取得(admission)と環境実行の並列数を別々に管理する分離だ。単一の上限だと、推論を忙しくしようと環境が詰まり、環境を守ろうとGPUが遊ぶ。
- 01 容量モデル
KV/状態の配分
作業量からキャッシュ配分と推奨サンプル並列数を決める
- 02 ルーティング
LBCH+RP
trajectory labelで親和性と負荷を両立し、キャッシュ再利用を前倒し
- 03 分離
admission/環境枠
サンプルの取得並列数と環境実行の並列数を別々に管理する
- 04 末尾短縮
CAAS
観測した進捗で長いチェーンを前倒しし、バッチの末尾を短くする
arXiv:2611.16661の本文(2026-11-17確認)から作成。CAASはChain-Advancing Action Scheduling。
4つ目の施策がChain-Advancing Action Scheduling(CAAS)だ。環境の実行枠が埋まっている間、観測された進捗に基づいて完了まで長いチェーンを前倒しで進め、バッチの末尾を縮める。評価には、実際の推論と記録済みの環境応答・所要時間を組み合わせた制御付きリプレイを使い、施策ごとの寄与を分けて確かめたうえで、実環境での実測を行う。
実測では4ベンチマークで10.4〜65.0%短縮
実測はLing-3.0-Flash(総124億・活性51億パラメータ、8基のH20 GPUにTP4ワーカー2つ)とLing-3.1-Flash(総5600億・活性250億、16基のH20 GPUにTP8ワーカー2つ)で、BFCL、SWE-bench Multilingual、WideSearch、MCP-Atlasの4ベンチマークを使った。Ling-3.1-Flashではスコアが飽和したBFCLを外した。比較する構成間ではチェックポイント、タスク集合、サンプリング設定、ハードウェアを固定する。
BFCL
- Ling-3.0-Flash
- 28.1%減
- Ling-3.1-Flash
- 対象外(飽和)
SWE-bench Multilingual
- Ling-3.0-Flash
- 10.4%減
- Ling-3.1-Flash
- 20.9%減
WideSearch
- Ling-3.0-Flash
- 37.5%減
- Ling-3.1-Flash
- 21.9%減
MCP-Atlas(環境容量制約あり)
- Ling-3.0-Flash
- 65.0%減
- Ling-3.1-Flash
- 61.5%減
arXiv:2611.16661の表2・表3と本文(2026-11-17確認)。表2は3回平均の実測、MCP-Atlasは3回の500タスク実行の平均。65.0%は表3の466.1分→163.0分、61.5%は333.5分→128.5分から算出。チェックポイント・タスク集合・ハードウェアを固定した比較構成での値で、推論レイテンシそのものの短縮ではない。
環境容量の制約が効くMCP-Atlasでは、単一の上限を使う基準構成から、推論側の最適化と容量分離(FCFS環境ディスパッチ)で466.1分から168.2分(63.9%減)になり、CAASを加えるとさらに3.1%減の163.0分だった。Ling-3.1-Flashでは333.5分から140.5分(57.9%減)、さらに8.5%減の128.5分だ。評価スコアは構成間で同水準(Ling-3.0で65.5→65.6、Ling-3.1で81.0→81.3)で、短縮は品質を犠牲にしていないと論文は報告する。著者らはこの手法をLing-3.xシリーズの学習・評価ワークフローに適用したと書く。
読むときの留保
数値は著者の実験で、arXivのプレプリントであり独立した査読や第三者の再現はまだない。10.4〜65.0%はバッチ完了時間の比較であって、モデルの推論速度が最大65%上がった意味ではないし、費用や電力の削減を示す値でもない。改善は複数施策の統合効果を含み、CAAS単独の寄与はMCP-Atlas実測で3.1%と8.5%にとどまる。今回の公開物に本手法の再現用コードは含まれず、論文中のGitHubリンクはベンチマーク側(MCP-Atlas)のものだ。ワーカーやGPU構成、ツール遅延の分布が違う環境への外挿は検証されていない。
出典
- arXiv:2611.16661 要約ページ一次資料。公開2026-11-12、著者9名(Wei Feng、Meiling Chen、Boxiao Chen、Lu Liu、Bin Zi、Libin Ye、Xingyu Lu、Lei Xu、Jun Zhou)、要旨のハイブリッドモデル向け容量モデル・LBCH/trajectory-awareルーティング・admissionと環境実行の分離・CAAS・リプレイ評価・Ling-3.0/3.1-Flashでの10.4〜65.0%短縮とスコア維持・Ling-3.xワークフローへの適用(2026-11-17確認)
- arXiv:2611.16661 HTML本文一次資料。所属表記「Ling Team, Ant Group」(表紙2026-11-11付)、表2のベンチ別短縮(BFCL 28.1%・SWE 10.4%・WideSearch 37.5%と3.1での20.9%・21.9%)、表3のMCP-Atlas実測(466.1→168.2→163.0分と333.5→140.5→128.5分、スコア65.5→65.6と81.0→81.3)、ハードウェア(8基/16基のH20 GPU、TP4×2/TP8×2)、BFCLを3.1から除外した理由、CAASパラメータ(B=30秒・ΔI=1秒)、リプレイ方式(2026-11-17確認)
出典の確認日 2026.11.17