v4.2.0は2026年11月7日13時07分(UTC)にGitHub Releasesで公開された。リリースノートのハイライトはXavierプレフィックスキャッシュ共有で、エンジン横断の共有(PR #5917、10月30日マージ)、Mooncake Storeの追加(PR #5905、10月29日マージ)、ツール待機中の優先保持(PR #6017が11月5日、PR #6018が11月6日マージ)が一括で載る。このほかWeb UIからのアップデート適用とローリングなモデル再ロード(#5873・#5944)、Web UIベンチマーク(#5904)、OpenAI・Anthropic互換APIの推論制御(#6001・#6019)、Qwen3-ASR/TTSの対応(#5993)がある。
「ツールが動いている間に、長いエージェントのプレフィックスは退避され、再開時に全体のprefillを強いられる。実行スコープのライフサイクルヒントが、待機中のプレフィックスにソフトな保持優先を与える。」
Long agent prefixes can be evicted while tools run, forcing a full prefill on resume. Execution-scoped lifecycle hints give waiting prefixes a soft retention preference.
異種エンジン間の共有は64トークン単位のページで行う
PR #5917の実装では、Xavierを有効にしてレプリカごとにmodel_engineとengine_configを設定すると、1つのデプロイにvLLM・SGLang・TensorRT-LLM・MLXを混在できる。各レプリカは、別のエンジンが計算したプレフィックスを、prefillとdecodeの役割分担を設けずに再利用する。アダプターは完全な64トークンページを不変のまま交換し、容量上限付きのスーパーバイザーCPUキャッシュに置く。再利用できるかの判定はチェックポイント、トークナイザー、モデルの意味論、文脈長、dtype、リクエストsaltの一致で、判定を通らない場合やストレージが使えない場合は、そのレプリカが自分で計算し直す。既存の同一エンジン内キャッシュとprefill/decode分離の転送は従来どおり動く。
再利用の判定64トークンページ
- チェックポイント・トークナイザー・モデルの意味論・文脈長・dtype・リクエストsaltが一致
再利用する
容量上限付きのスーパーバイザーCPUキャッシュから、不変の完全ページを受け取る。
- 判定を通らない、またはストレージが使えない
ローカルで再計算
そのレプリカ自身がprefillし直す。既存の同一エンジンキャッシュとprefill/decode分離の転送は従来どおり。
xorbitsai/inference PR #5917(2026-10-30マージ)に基づく。初版の共有ストレージはネイティブCPUのみで、エンジン横断のLMCache・Mooncake保存、GPU履歴の保持、既存の非対応モデルモードは対象外。TensorRT-LLMはBF16 dense-Qwen3とcache-saltの制限を引き継ぐ。
v4.1.0(2026年10月25日公開)でもTensorRT-LLMのバックエンド対応、LMCacheのディスク保存、prefill/decode分離を含むエンジン間ハンドオフは既に存在する。4.2.0の差分は、役割を持たない通常レプリカの間でプレフィックスをそのまま再利用する部分と、ツール待機を寿命管理に組み込む部分にある。
ツール待機中のプレフィックスを優先保持する
PR #6017は、エージェントがツールの応答を待つ間に長い会話のプレフィックスがキャッシュから退避され、ツール結果の受領後に全部をprefillし直す問題を扱う。実行スコープのライフサイクルヒントを導入し、待機中のプレフィックスにソフトな保持優先を与える。完了したセッションは通常のLRU退避に戻る。Chatはcache_session={id, revision}を受け付け、POST /v1/models/{model_uid}/cache_sessionsがwaiting、active、finishedの3状態を扱う。レジストリは認証スコープごとに分かれ、モデルごとに4,096セッション、認証スコープごとに1,024までで、ヒントは300秒で失効する。同一リビジョンの同一フェーズへの変更は拒否し、同じ組み合わせの再送は失効時刻を更新する。
- 01 ツール呼び出し
waiting登録
Chatがcache_session={id, revision}を受け付け、cache_sessions APIにwaitingで登録する。ヒントは300秒で失効する。
- 02 待機中
優先保持
ライフサイクルヒントが、vLLMのGPUプレフィックス、ハイブリッドCPUオフロード、SGLang HiCache、TensorRT-LLMコネクタ、MLXページに保持優先の印を与える。
- 03 ツール結果の受領
activeへ
待機が終わるとactiveに切り替わり、保持したプレフィックスを再利用して再開時の全体prefillを避ける。
- 04 セッション完了
finished
通常のLRU退避に戻る。共有ページは削除せず、優先だけを外す。
PR #6017(2026-11-05マージ)とPR #6018(2026-11-06マージ)に基づく。レジストリはモデルごとに4,096セッション、認証スコープごとに1,024の上限。prefill/decode分離経路のライフサイクルヒントは未対応。
PR #6018は、この寿命管理をvLLMの常駐ハイブリッドプレフィックス経路の外へ広げる。XavierのvLLMハイブリッドオフロード、SGLang HiCache、TensorRT-LLMコネクタ、MLXページアダプターが対象で、各アダプターは認証済みセッションのメタデータを、トークン由来の実際のキャッシュキーに結び付ける。容量上限付きの共有ポリシーで待機中のプレフィックスに優先を与え、完了・失効したセッションは共有ページを削除せずに優先を失う。GPUと共有ストレージの調整役は同じ状態遷移を受け取る。この拡張で、単一レプリカのXavierストレージがSGLang・TensorRT-LLM・MLXでも有用になり、vLLMのハイブリッドCPUオフロードでもLMCacheを使える。
Mooncake Storeの追加とその他の変更
PR #5905は、XavierのLMCacheアダプターにl2_backend="mooncake"を追加する。従来はファイルシステムのL2保存だけだった。Mooncake StoreはLMCacheのネイティブアダプター経由で使い、通常のvLLM V1・SGLang・TensorRT-LLMのプレフィックス共有に使える。互換性のあるネイティブLMCacheビルドが必要で、prefill/decode転送は変わらない。PR本文には開発者自身の回帰テスト結果(557件pass・44件skip)の記載があるが、これは開発者報告であり、リリースに性能数値はなく、削減率や汎用の互換性保証の提示もない。
PR #5917エンジン横断
- 対象
- vLLM・SGLang・TRT-LLM・MLXの混在配備
- 単位
- 完全な64トークンページ
- 格納先
- スーパーバイザーのCPUキャッシュ
- 制限
- ネイティブCPUのみ。TRT-LLMはBF16 dense-Qwen3とsalt制限
PR #5905Mooncake Store
- 対象
- 通常のvLLM V1・SGLang・TRT-LLM
- 単位
- LMCacheのL2
- 格納先
- Mooncake Store
- 制限
- ネイティブLMCacheビルドが必要。prefill/decode転送は変更なし
PR #6017・#6018ツール待機の保持
- 対象
- エージェントのcache_session
- 単位
- ライフサイクルヒント
- 格納先
- GPUと共有ストレージの階層
- 制限
- ヒントは300秒で失効。prefill/decode経路は未対応
v4.2.0リリースノート(2026-11-07公開)と各PR本文に基づく。
このほかの4.2.0では、管理者がWeb UIでアップデートを確認・適用でき、Worker・Supervisor・APIを順に更新する。対応するvLLMとSGLangの配備ではGPU重みを保持したまま1レプリカずつ再ロードし、処理中のリクエストを旧エンジンのインスタンスで完結させる。Web UIベンチマークは稼働中のチャットモデルに同時実行数を変えて負荷をかけ、throughput・TTFT・TPOTを実行間で比較し、結果をJSONで書き出せる。
プレフィックスキャッシュ自体は既存技術で、LMCacheや各推論エンジンの個別実装がある。4.2.0の新しさは、異種エンジン・レプリカ間の互換プレフィックスを共有し、エージェントのツール待機を保持優先と階層ストレージに連動させた統合実装の範囲にある。効果の大きさは互換条件、キャッシュ容量、ストレージ遅延、同時実行負荷に依存し、今回のリリースで独立した性能測定は示されていない。共有できるのは互換判定を通過したページだけで、全モデル・全バージョンで共有できるわけではない。
出典
- xorbitsai/inference v4.2.0(GitHub Releases)2026-11-07公開。ハイライト、機能一覧、対応PR。確認日 2026-11-12
- xorbitsai/inference PR #5917「FEAT: Share Xavier prefix caches across engines」2026-10-30マージ。64トークンページ、互換判定、CPUキャッシュ、対象外の範囲。確認日 2026-11-12
- xorbitsai/inference PR #6017「feat: prioritize agent KV prefixes across tool waits」2026-11-05マージ。ライフサイクルヒント、API、上限、300秒失効。確認日 2026-11-12
- xorbitsai/inference PR #6018「feat: extend Xavier agent cache lifecycle to tiered storage」2026-11-06マージ。階層ストレージへの拡張と未対応範囲。確認日 2026-11-12
- xorbitsai/inference PR #5905「feat: add Mooncake Store storage to Xavier LMCache」2026-10-29マージ。l2_backend、要件、開発者回帰テスト。確認日 2026-11-12
- xorbitsai/inference v4.1.0(GitHub Releases)2026-10-25公開。既存機能の区別に使用。確認日 2026-11-12
出典の確認日 2026.11.12