NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

単著研究者がエージェント向けMoE推論Ostinatoを公表 ツール出力後の待ち時間を22〜55%短縮しセッション完了を1.4〜2.5倍速く(著者報告)

北京師範大学香港浸会大学聯合国際学院(BNBU)のJunning Zhuは2026年11月8日、大規模MoEモデルをCPUと数基の民生GPUに分割配置して動かす推論エンジンOstinatoの研究をarXivで公開した。エージェントがよく使うExpertをGPUに常駐させ、ツール出力後の初トークン待ちの中央値をllama.cppやKTransformersなどの比較対象より22〜55%短縮し、セッション完了時間を1.4〜2.5倍速くしたと報告している。DeepSeek-V4-FlashとRTX 4090D 4基での実セッションのリプレイによる著者報告で、コードの公開は今回の確認時点で見つかっていない。

論文「Ostinato: Fast CPU-GPU MoE Inference for Local Agents via Resident Experts in Every Forward Pass」はarXiv:2611.11533として2026年11月8日18時17分(UTC)に公開された(arXiv API実測)。著者はJunning Zhuの単名で、所属は北京師範大学香港浸会大学聯合国際学院(BNBU、Beijing Normal-Hong Kong Baptist University)。Ostinatoはllama.cppに実装し、llama.cppの既定の層配置とexpert cache、ik_llama.cpp、KTransformers、buun、FreeTokenの6システムと比べた。評価モデルはDeepSeek-V4-Flash(284B/13B活性化、43層×256Expert、トークンごとに6個選択、MXFP4)とQwen3-235B-A22B(235B/22B活性化、94層×128Expert、Q4_K_M)の2つだ。

論文が指摘するのは、エージェントのセッションでハイブリッド構成が持つ非対称さだ。DeepSeek-V4-Flashのルーティング対象Expertは137GiBあり、24GBのGPU4基にはdense重みとKVキャッシュを除くと約半分しか載らない。llama.cppのexpert cacheは32トークンを超えるforward passを扱わず、ツール出力後の待ち時間は中央値で2.4〜2.8秒になる。層単位の配置はこの待ちを減らす代わりに、decodeが1.5〜1.6倍遅くなる。待ちを減らす配置とdecodeを速くする配置を、一台のマシンで両立できないことが問題になる。

「短いprefillは、転送するにはあまりに多くの異なるExpertに触れる。それでもそのExpert活性化(ルート)の84%は、GPUメモリに収まる安定したExpertの集合に送られる。」

a short prefill touches too many distinct experts to upload, yet sends 84% of its expert activations (routes) to a stable set of experts that fits in GPU memory.

arXiv:2611.11533イントロダクション、2026-11-08公開版

使われ方の偏りをGPU常駐に変換する

論文の測定では、開発セッションでの使用頻度で順位付けした上位44%のExpertが、held-outセッションのルートの84.0%を担う。偏りはセッションをまたいで安定していた。128〜511トークンの短いprefillでも、この集合にGPUを任せればルートの84%をGPUで処理でき、1トークンが層ごとに選ぶ6個のExpertのうち0.92〜0.95個だけがCPUに残る。Ostinatoはこの常駐集合をprefillとdecodeのすべてのforward passでGPU側で計算する。モデルの計算内容そのものは変えない。

prefillの経路はforward passのサイズで分ける。短いprefillのcoldなExpertはCPUで計算し、長いprefillはdistinctなcold ExpertをPCIe経由で一度だけGPUに転送する。転送が有利になる境界はExpert1個あたりの費用で決まり、DeepSeek-V4-FlashのExpertはMXFP4で13.4MB、転送に0.53ms、CPUで1トークンの計算に約0.18msかかるため、3トークン以上のルートで転送が勝つ。decodeはGPUごとに固定形状のCUDA graph1本で処理する。

図解ツール出力後の1ターンの処理(論文Sec.2〜3・Figure 2に基づく)
  1. 01 ツール出力到着

    新トークン中央値249

    SWEのターンではKVキャッシュ再利用後に数百トークンが追加される。

  2. 02 prefill分割

    GPU 84%/CPU 16%

    常駐集合に含まれるルートはGPUで、残りのcoldルートはCPUで計算する。

  3. 03 初トークン

    0.98秒

    τ²-benchのツール出力後ターン504件の中央値。比較対象のexpert cacheは2.11秒。

  4. 04 decode

    CUDA graph 1本/GPU

    各GPUが固定形状のグラフで処理し、層単位の配置より速く出力を進める。

arXiv:2611.11533 Sec.2〜3・Figure 2に基づく。数値は著者の測定条件(RTX 4090D 4基、DeepSeek-V4-Flash、実セッションのリプレイ)。

6システムとの比較

評価環境はRTX 4090D 4基(PCIe 4.0)、Xeon Platinum 8358×2(64コア)、512GB DDR4のワークステーションで、比較対象の6システムはすべて同一マシンで同一の容量テストを通している。ワークロードは実際のエージェントセッションのリプレイで、コーディング(SWE)のheld-outセッション13件と、カスタマーサービス(τ²-bench)のheld-outセッション60件を使い、ツール出力後のターンについて初トークンまでの時間を測った。

結果はこうだ。KTransformersとllama.cppのexpert cacheに対し、ツール出力後の待ちの中央値は47〜55%短く、セッションの完了は1.4〜2.5倍速い。llama.cppの既定の層配置に対しては待ちが22〜24%減り、decodeは1.8倍、セッション完了は1.7倍だった。GPU1基構成ではFreeTokenに対してコーディングセッションを1.9倍速く終えた。ik_llama.cppとbuunに対してもすべてのセッションを早く完了し、総リクエスト時間の16〜36%を削減した。Ostinatoの待ちの中央値はSWEで1.26秒、τ²-benchで0.98秒。Qwen3-235B-A22Bでは常駐とprefill経路だけでbuun比16.2%の短縮だった(こちらはdecodeのグラフ化を含まない構成)。

図解比較対象別の改善幅(論文Sec.1・Sec.4、著者報告)
  • KTransformers・llama.cpp expert cache

    待ち時間
    −47〜55%
    セッション完了
    1.4〜2.5倍
    備考
    4GPU構成、DeepSeek-V4-Flash
  • llama.cpp 層配置

    待ち時間
    −22〜24%
    セッション完了
    1.7倍
    備考
    decodeは1.8倍速い
  • ik_llama.cpp・buun

    待ち時間
    ―
    セッション完了
    総時間−16〜36%
    備考
    全セッションで先行
  • FreeToken(1GPU)

    待ち時間
    ―
    セッション完了
    1.9倍
    備考
    コーディングセッション、1GPU構成

arXiv:2611.11533の著者報告。RTX 4090D 4基と実セッションのリプレイ条件。待ちの中央値はOstinatoがSWE 1.26秒、τ²-bench 0.98秒。

プレプリントで公開コードは未確認

この研究は査読前のプレプリントで、著者は単名だ。実装はllama.cppベースと説明されているが、論文にコードリポジトリの記述はなく、GitHubの検索でも公開リポジトリを確認できなかった(2026-11-12時点)。測定は特定のハードウェア構成に限られ、Expert使用の偏りがほかのモデルやワークロード、帯域の異なるPCIe構成でも同じように安定するかは、論文の範囲の外にある。独立した再現も今回の確認時点では存在しない。

エージェントの応答待ちの多くがツール出力後の短いprefillに集中するなら、使用頻度の偏りを常駐配置に変換するこの設計は、ローカルでエージェントを動かす環境での待ち時間削減に効く知見になりうる。一方で、数値が著者自身の実装と測定に基づく以上、コード公開と第三者による再現が次の確認点になる。

出典

  1. Ostinato: Fast CPU-GPU MoE Inference for Local Agents via Resident Experts in Every Forward Pass(arXiv:2611.11533、要旨ページ)2026-11-08T18:17:32Z公開、著者Junning Zhu(BNBU)単名、v1のみ(arXiv API・要旨ページ実測、2026-11-12)。確認日 2026-11-12
  2. 同論文PDF全文(v1)137GiB・24GB GPU4基で約半分、84%のルート集中(上位44%)、0.92〜0.95/6、13.4MB・0.53ms・0.18ms、待ち1.26秒/0.98秒、比較対象別の改善幅、評価環境(4090D 4基・Xeon 8358×2・512GB)を確認。確認日 2026-11-12

出典の確認日 2026.11.12

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む