NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

Xinference 4.2.0が公開 異種推論エンジン間でKVプレフィックスを共有し、エージェントのツール待機中の優先保持を追加

Xorbitsのオープンソース推論プラットフォーム「Xinference」は2026年11月7日、v4.2.0を公開した(GitHub Releases)。Xavier層の拡張で、vLLM・SGLang・TensorRT-LLM・MLXという異なる推論エンジンで動くレプリカの間で、互換性のあるKVプレフィックスを再利用できる。LMCacheのストレージ選択肢にMooncake Storeを加え、エージェントがツールの結果を待つ間、次の推論に使うプレフィックスを優先的に保持して、再開時のprefillの繰り返しを減らす。再利用はチェックポイント・トークナイザー・文脈長・dtype・リクエストsaltなどの一致を条件とし、一致しなければ各レプリカがローカルで計算し直す。リリースに性能改善率の数値はなく、効果はワークロード次第だ。

v4.2.0は2026年11月7日13時07分(UTC)にGitHub Releasesで公開された。リリースノートのハイライトはXavierプレフィックスキャッシュ共有で、エンジン横断の共有(PR #5917、10月30日マージ)、Mooncake Storeの追加(PR #5905、10月29日マージ)、ツール待機中の優先保持(PR #6017が11月5日、PR #6018が11月6日マージ)が一括で載る。このほかWeb UIからのアップデート適用とローリングなモデル再ロード(#5873・#5944)、Web UIベンチマーク(#5904)、OpenAI・Anthropic互換APIの推論制御(#6001・#6019)、Qwen3-ASR/TTSの対応(#5993)がある。

「ツールが動いている間に、長いエージェントのプレフィックスは退避され、再開時に全体のprefillを強いられる。実行スコープのライフサイクルヒントが、待機中のプレフィックスにソフトな保持優先を与える。」

Long agent prefixes can be evicted while tools run, forcing a full prefill on resume. Execution-scoped lifecycle hints give waiting prefixes a soft retention preference.

xorbitsai/inference PR #6017本文、2026-11-05マージ、確認日2026-11-12

異種エンジン間の共有は64トークン単位のページで行う

PR #5917の実装では、Xavierを有効にしてレプリカごとにmodel_engineとengine_configを設定すると、1つのデプロイにvLLM・SGLang・TensorRT-LLM・MLXを混在できる。各レプリカは、別のエンジンが計算したプレフィックスを、prefillとdecodeの役割分担を設けずに再利用する。アダプターは完全な64トークンページを不変のまま交換し、容量上限付きのスーパーバイザーCPUキャッシュに置く。再利用できるかの判定はチェックポイント、トークナイザー、モデルの意味論、文脈長、dtype、リクエストsaltの一致で、判定を通らない場合やストレージが使えない場合は、そのレプリカが自分で計算し直す。既存の同一エンジン内キャッシュとprefill/decode分離の転送は従来どおり動く。

図解別エンジンのレプリカはそのプレフィックスを再利用できるか(PR #5917の判定)

再利用の判定64トークンページ

  • チェックポイント・トークナイザー・モデルの意味論・文脈長・dtype・リクエストsaltが一致

    再利用する

    容量上限付きのスーパーバイザーCPUキャッシュから、不変の完全ページを受け取る。

  • 判定を通らない、またはストレージが使えない

    ローカルで再計算

    そのレプリカ自身がprefillし直す。既存の同一エンジンキャッシュとprefill/decode分離の転送は従来どおり。

xorbitsai/inference PR #5917(2026-10-30マージ)に基づく。初版の共有ストレージはネイティブCPUのみで、エンジン横断のLMCache・Mooncake保存、GPU履歴の保持、既存の非対応モデルモードは対象外。TensorRT-LLMはBF16 dense-Qwen3とcache-saltの制限を引き継ぐ。

v4.1.0(2026年10月25日公開)でもTensorRT-LLMのバックエンド対応、LMCacheのディスク保存、prefill/decode分離を含むエンジン間ハンドオフは既に存在する。4.2.0の差分は、役割を持たない通常レプリカの間でプレフィックスをそのまま再利用する部分と、ツール待機を寿命管理に組み込む部分にある。

ツール待機中のプレフィックスを優先保持する

PR #6017は、エージェントがツールの応答を待つ間に長い会話のプレフィックスがキャッシュから退避され、ツール結果の受領後に全部をprefillし直す問題を扱う。実行スコープのライフサイクルヒントを導入し、待機中のプレフィックスにソフトな保持優先を与える。完了したセッションは通常のLRU退避に戻る。Chatはcache_session={id, revision}を受け付け、POST /v1/models/{model_uid}/cache_sessionsがwaiting、active、finishedの3状態を扱う。レジストリは認証スコープごとに分かれ、モデルごとに4,096セッション、認証スコープごとに1,024までで、ヒントは300秒で失効する。同一リビジョンの同一フェーズへの変更は拒否し、同じ組み合わせの再送は失効時刻を更新する。

図解ツール待機中のKVプレフィックスの寿命管理(PR #6017・#6018)
  1. 01 ツール呼び出し

    waiting登録

    Chatがcache_session={id, revision}を受け付け、cache_sessions APIにwaitingで登録する。ヒントは300秒で失効する。

  2. 02 待機中

    優先保持

    ライフサイクルヒントが、vLLMのGPUプレフィックス、ハイブリッドCPUオフロード、SGLang HiCache、TensorRT-LLMコネクタ、MLXページに保持優先の印を与える。

  3. 03 ツール結果の受領

    activeへ

    待機が終わるとactiveに切り替わり、保持したプレフィックスを再利用して再開時の全体prefillを避ける。

  4. 04 セッション完了

    finished

    通常のLRU退避に戻る。共有ページは削除せず、優先だけを外す。

PR #6017(2026-11-05マージ)とPR #6018(2026-11-06マージ)に基づく。レジストリはモデルごとに4,096セッション、認証スコープごとに1,024の上限。prefill/decode分離経路のライフサイクルヒントは未対応。

PR #6018は、この寿命管理をvLLMの常駐ハイブリッドプレフィックス経路の外へ広げる。XavierのvLLMハイブリッドオフロード、SGLang HiCache、TensorRT-LLMコネクタ、MLXページアダプターが対象で、各アダプターは認証済みセッションのメタデータを、トークン由来の実際のキャッシュキーに結び付ける。容量上限付きの共有ポリシーで待機中のプレフィックスに優先を与え、完了・失効したセッションは共有ページを削除せずに優先を失う。GPUと共有ストレージの調整役は同じ状態遷移を受け取る。この拡張で、単一レプリカのXavierストレージがSGLang・TensorRT-LLM・MLXでも有用になり、vLLMのハイブリッドCPUオフロードでもLMCacheを使える。

Mooncake Storeの追加とその他の変更

PR #5905は、XavierのLMCacheアダプターにl2_backend="mooncake"を追加する。従来はファイルシステムのL2保存だけだった。Mooncake StoreはLMCacheのネイティブアダプター経由で使い、通常のvLLM V1・SGLang・TensorRT-LLMのプレフィックス共有に使える。互換性のあるネイティブLMCacheビルドが必要で、prefill/decode転送は変わらない。PR本文には開発者自身の回帰テスト結果(557件pass・44件skip)の記載があるが、これは開発者報告であり、リリースに性能数値はなく、削減率や汎用の互換性保証の提示もない。

図解4.2.0のプレフィックスキャッシュ関連の3実装(リリースノートとPR本文)
  • PR #5917エンジン横断

    対象
    vLLM・SGLang・TRT-LLM・MLXの混在配備
    単位
    完全な64トークンページ
    格納先
    スーパーバイザーのCPUキャッシュ
    制限
    ネイティブCPUのみ。TRT-LLMはBF16 dense-Qwen3とsalt制限
  • PR #5905Mooncake Store

    対象
    通常のvLLM V1・SGLang・TRT-LLM
    単位
    LMCacheのL2
    格納先
    Mooncake Store
    制限
    ネイティブLMCacheビルドが必要。prefill/decode転送は変更なし
  • PR #6017・#6018ツール待機の保持

    対象
    エージェントのcache_session
    単位
    ライフサイクルヒント
    格納先
    GPUと共有ストレージの階層
    制限
    ヒントは300秒で失効。prefill/decode経路は未対応

v4.2.0リリースノート(2026-11-07公開)と各PR本文に基づく。

このほかの4.2.0では、管理者がWeb UIでアップデートを確認・適用でき、Worker・Supervisor・APIを順に更新する。対応するvLLMとSGLangの配備ではGPU重みを保持したまま1レプリカずつ再ロードし、処理中のリクエストを旧エンジンのインスタンスで完結させる。Web UIベンチマークは稼働中のチャットモデルに同時実行数を変えて負荷をかけ、throughput・TTFT・TPOTを実行間で比較し、結果をJSONで書き出せる。

プレフィックスキャッシュ自体は既存技術で、LMCacheや各推論エンジンの個別実装がある。4.2.0の新しさは、異種エンジン・レプリカ間の互換プレフィックスを共有し、エージェントのツール待機を保持優先と階層ストレージに連動させた統合実装の範囲にある。効果の大きさは互換条件、キャッシュ容量、ストレージ遅延、同時実行負荷に依存し、今回のリリースで独立した性能測定は示されていない。共有できるのは互換判定を通過したページだけで、全モデル・全バージョンで共有できるわけではない。

出典

  1. xorbitsai/inference v4.2.0(GitHub Releases)2026-11-07公開。ハイライト、機能一覧、対応PR。確認日 2026-11-12
  2. xorbitsai/inference PR #5917「FEAT: Share Xavier prefix caches across engines」2026-10-30マージ。64トークンページ、互換判定、CPUキャッシュ、対象外の範囲。確認日 2026-11-12
  3. xorbitsai/inference PR #6017「feat: prioritize agent KV prefixes across tool waits」2026-11-05マージ。ライフサイクルヒント、API、上限、300秒失効。確認日 2026-11-12
  4. xorbitsai/inference PR #6018「feat: extend Xavier agent cache lifecycle to tiered storage」2026-11-06マージ。階層ストレージへの拡張と未対応範囲。確認日 2026-11-12
  5. xorbitsai/inference PR #5905「feat: add Mooncake Store storage to Xavier LMCache」2026-10-29マージ。l2_backend、要件、開発者回帰テスト。確認日 2026-11-12
  6. xorbitsai/inference v4.1.0(GitHub Releases)2026-10-25公開。既存機能の区別に使用。確認日 2026-11-12

出典の確認日 2026.11.12

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む