論文「Ostinato: Fast CPU-GPU MoE Inference for Local Agents via Resident Experts in Every Forward Pass」はarXiv:2611.11533として2026年11月8日18時17分(UTC)に公開された(arXiv API実測)。著者はJunning Zhuの単名で、所属は北京師範大学香港浸会大学聯合国際学院(BNBU、Beijing Normal-Hong Kong Baptist University)。Ostinatoはllama.cppに実装し、llama.cppの既定の層配置とexpert cache、ik_llama.cpp、KTransformers、buun、FreeTokenの6システムと比べた。評価モデルはDeepSeek-V4-Flash(284B/13B活性化、43層×256Expert、トークンごとに6個選択、MXFP4)とQwen3-235B-A22B(235B/22B活性化、94層×128Expert、Q4_K_M)の2つだ。
論文が指摘するのは、エージェントのセッションでハイブリッド構成が持つ非対称さだ。DeepSeek-V4-Flashのルーティング対象Expertは137GiBあり、24GBのGPU4基にはdense重みとKVキャッシュを除くと約半分しか載らない。llama.cppのexpert cacheは32トークンを超えるforward passを扱わず、ツール出力後の待ち時間は中央値で2.4〜2.8秒になる。層単位の配置はこの待ちを減らす代わりに、decodeが1.5〜1.6倍遅くなる。待ちを減らす配置とdecodeを速くする配置を、一台のマシンで両立できないことが問題になる。
「短いprefillは、転送するにはあまりに多くの異なるExpertに触れる。それでもそのExpert活性化(ルート)の84%は、GPUメモリに収まる安定したExpertの集合に送られる。」
a short prefill touches too many distinct experts to upload, yet sends 84% of its expert activations (routes) to a stable set of experts that fits in GPU memory.
使われ方の偏りをGPU常駐に変換する
論文の測定では、開発セッションでの使用頻度で順位付けした上位44%のExpertが、held-outセッションのルートの84.0%を担う。偏りはセッションをまたいで安定していた。128〜511トークンの短いprefillでも、この集合にGPUを任せればルートの84%をGPUで処理でき、1トークンが層ごとに選ぶ6個のExpertのうち0.92〜0.95個だけがCPUに残る。Ostinatoはこの常駐集合をprefillとdecodeのすべてのforward passでGPU側で計算する。モデルの計算内容そのものは変えない。
prefillの経路はforward passのサイズで分ける。短いprefillのcoldなExpertはCPUで計算し、長いprefillはdistinctなcold ExpertをPCIe経由で一度だけGPUに転送する。転送が有利になる境界はExpert1個あたりの費用で決まり、DeepSeek-V4-FlashのExpertはMXFP4で13.4MB、転送に0.53ms、CPUで1トークンの計算に約0.18msかかるため、3トークン以上のルートで転送が勝つ。decodeはGPUごとに固定形状のCUDA graph1本で処理する。
- 01 ツール出力到着
新トークン中央値249
SWEのターンではKVキャッシュ再利用後に数百トークンが追加される。
- 02 prefill分割
GPU 84%/CPU 16%
常駐集合に含まれるルートはGPUで、残りのcoldルートはCPUで計算する。
- 03 初トークン
0.98秒
τ²-benchのツール出力後ターン504件の中央値。比較対象のexpert cacheは2.11秒。
- 04 decode
CUDA graph 1本/GPU
各GPUが固定形状のグラフで処理し、層単位の配置より速く出力を進める。
arXiv:2611.11533 Sec.2〜3・Figure 2に基づく。数値は著者の測定条件(RTX 4090D 4基、DeepSeek-V4-Flash、実セッションのリプレイ)。
6システムとの比較
評価環境はRTX 4090D 4基(PCIe 4.0)、Xeon Platinum 8358×2(64コア)、512GB DDR4のワークステーションで、比較対象の6システムはすべて同一マシンで同一の容量テストを通している。ワークロードは実際のエージェントセッションのリプレイで、コーディング(SWE)のheld-outセッション13件と、カスタマーサービス(τ²-bench)のheld-outセッション60件を使い、ツール出力後のターンについて初トークンまでの時間を測った。
結果はこうだ。KTransformersとllama.cppのexpert cacheに対し、ツール出力後の待ちの中央値は47〜55%短く、セッションの完了は1.4〜2.5倍速い。llama.cppの既定の層配置に対しては待ちが22〜24%減り、decodeは1.8倍、セッション完了は1.7倍だった。GPU1基構成ではFreeTokenに対してコーディングセッションを1.9倍速く終えた。ik_llama.cppとbuunに対してもすべてのセッションを早く完了し、総リクエスト時間の16〜36%を削減した。Ostinatoの待ちの中央値はSWEで1.26秒、τ²-benchで0.98秒。Qwen3-235B-A22Bでは常駐とprefill経路だけでbuun比16.2%の短縮だった(こちらはdecodeのグラフ化を含まない構成)。
KTransformers・llama.cpp expert cache
- 待ち時間
- −47〜55%
- セッション完了
- 1.4〜2.5倍
- 備考
- 4GPU構成、DeepSeek-V4-Flash
llama.cpp 層配置
- 待ち時間
- −22〜24%
- セッション完了
- 1.7倍
- 備考
- decodeは1.8倍速い
ik_llama.cpp・buun
- 待ち時間
- ―
- セッション完了
- 総時間−16〜36%
- 備考
- 全セッションで先行
FreeToken(1GPU)
- 待ち時間
- ―
- セッション完了
- 1.9倍
- 備考
- コーディングセッション、1GPU構成
arXiv:2611.11533の著者報告。RTX 4090D 4基と実セッションのリプレイ条件。待ちの中央値はOstinatoがSWE 1.26秒、τ²-bench 0.98秒。
プレプリントで公開コードは未確認
この研究は査読前のプレプリントで、著者は単名だ。実装はllama.cppベースと説明されているが、論文にコードリポジトリの記述はなく、GitHubの検索でも公開リポジトリを確認できなかった(2026-11-12時点)。測定は特定のハードウェア構成に限られ、Expert使用の偏りがほかのモデルやワークロード、帯域の異なるPCIe構成でも同じように安定するかは、論文の範囲の外にある。独立した再現も今回の確認時点では存在しない。
エージェントの応答待ちの多くがツール出力後の短いprefillに集中するなら、使用頻度の偏りを常駐配置に変換するこの設計は、ローカルでエージェントを動かす環境での待ち時間削減に効く知見になりうる。一方で、数値が著者自身の実装と測定に基づく以上、コード公開と第三者による再現が次の確認点になる。
出典
- Ostinato: Fast CPU-GPU MoE Inference for Local Agents via Resident Experts in Every Forward Pass(arXiv:2611.11533、要旨ページ)2026-11-08T18:17:32Z公開、著者Junning Zhu(BNBU)単名、v1のみ(arXiv API・要旨ページ実測、2026-11-12)。確認日 2026-11-12
- 同論文PDF全文(v1)137GiB・24GB GPU4基で約半分、84%のルート集中(上位44%)、0.92〜0.95/6、13.4MB・0.53ms・0.18ms、待ち1.26秒/0.98秒、比較対象別の改善幅、評価環境(4090D 4基・Xeon 8358×2・512GB)を確認。確認日 2026-11-12
出典の確認日 2026.11.12