発表の根拠はBuoyant公式のプレスリリースです。Buoyantは2026年11月4日、Kubernetes向けの推論制御プレーン「Kinference」の一般提供を発表しました。オープンソースの推論エンジンvLLMの上に位置する層で、複数のモデル、GPU、マシンにまたがる推論にルーティング、負荷分散、ポリシーによる制御を加えます。ライセンスはApache 2.0で、発表当日から利用できます。
- 01 推論クライアント
互換APIで送信
アプリやエージェントはKinferenceのHTTPエンドポイントへ、OpenAIまたはAnthropic互換の推論トラフィックを送る
- 02 Kinference制御プレーン
ポリシーで振り分け
YAMLのInferencePolicyに基づき、プロンプトの意味分類、テナント、GPUの状態から振り分け先を決定する
- 03 vLLMワーカー
KVキャッシュ考慮
各vLLM podのKVキャッシュの内容とキュー長を考慮し、prefixを再利用できるGPUへ優先して送る
- 04 クラウド側エンドポイント
burst to cloud
GPUプールの飽和などポリシーの条件を満たしたときだけ、外部のクラウドエンドポイントへ退避させる
Buoyant公式発表(2026-11-04)とvLLM公式ブログ(2026-11-04)の説明による。テナント別の利用量・コスト配賦とトークンレート制限も制御プレーンの機能です。
制御の単位は宣言的な「推論ポリシー」です。プラットフォームの運用者がYAMLでルールを書き、Gitにコミットして適用やロールバックができます。公式ブログの例では、プロンプトを意味分類して簡単な依頼を小さいモデルへ振り向ける規則、キューの深さがしきい値を超えたらBedrockやDatabricksなど外部エンドポイントへ退避させる規則、PIIの検出タグが付いたリクエストのクラウド送信を禁止する規則が示されています。テナントごとの利用量とコスト配賦、TTFTやITLといった指標の計測も制御プレーンの機能です。
性能については、Buoyantが公開ベンチマークの結果を発表と同時に示しています。測定はAWSのクラスタで、同一構成のvLLM 0.31.0プールを2群用意し、各群はL40S GPUを1枚ずつ使うvLLM pod 3台です。モデルはオープンウェイトのQwen-3.8-27B-FP8、負荷生成はGuideLLM 0.8.1です。比較相手は標準のKubernetes Serviceで、kube-proxyが接続ごとにpodをランダムに選ぶ動きになります。
TTFT中央値(軽負荷)
- 標準Service
- 6.88秒
- Kinference
- 0.31秒
E2E遅延の中央値(軽負荷)
- 標準Service
- 20.5秒
- Kinference
- 11.3秒
ピークgoodput(req/min)
- 標準Service
- 14.0
- Kinference
- 103.0
SLOを満たす最大の同時実行数
- 標準Service
- なし(未達)
- Kinference
- 共有プレフィックス32・マルチターン8
Buoyant公開ベンチマーク(2026-11-04)の会社測定値。vLLM 0.31.0、Qwen-3.8-27B-FP8、L40S搭載3pod×2群、GuideLLM 0.8.1の特定条件です。独立検証ではありません。マルチターンのワークロードではTTFT中央値65%減・E2E32%減、prefix共有のないワークロードではTTFT中央値に差は出ませんでした。ピークgoodputは約7.4倍。
数字の読み方には条件が付きます。改善が大きいのは、複数のユーザーが長い共通prefixを共有するワークロードです。KVキャッシュにprefixが残っているGPUへリクエストを集めると再計算が減るため、TTFTの中央値は6.88秒から0.31秒に下がりました。会話が伸びていくマルチターンのワークロードでは、最初の1ターンに再利用できるものがないため改善は小さく、TTFT中央値65%減、E2E32%減です。共通prefixが一切ない対照のワークロードでは中央値に差はなく、重い条件ではテールの改善だけが見られました。これらは同社の測定で、モデルとGPUの組み合わせを変えれば結果は変わると同社自身が書いています。
「企業には、組織内のさまざまな用途とテナントを統一的に扱える、プライベートAI向けのプラグアンドプレイな解が必要です。どのモデルや計算環境でも、プラットフォームエンジニアが簡単に導入できる信頼性と性能を持つ選択肢としてKinferenceを提供できることを嬉しく思います。」
Enterprises need a plug-and-play solution to private AI that allows them to handle the wide variety of use cases and tenants within their organization in a unified way... We're excited to launch Kinference as a reliable, high performance, secure option that platform engineers can easily adopt, no matter what the model or compute environment.
背景として、Buoyantの発表はCNCFの2026年の調査を引用し、生成AIモデルを運用する組織の66%が推論の全部または一部にKubernetesを使うとしています。自社GPUでオープンウェイトモデルを動かす動きのなかで、推論エンジン単体では扱わないルーティング、統制、費用の見える化を埋めるのがこの層の役割です。
vLLMプロジェクトの公式ブログも同じ日にKinferenceの技術紹介を掲載しており、著者はKinferenceチーム名義です。現時点で性能の独立検証はなく、実環境での再現は今後の観察点です。推論エンジンはvLLMが前提で、他のエンジンやマネージドサービスとの組み合わせがどこまで広がるかも発表資料の範囲外です。こうした制御プレーン層の競争が推論コストの見える化を標準装備にしていくかは、この記事の編集部の解釈です。
出典
- Buoyant「Buoyant Announces Kinference: An Open Source Inference Serving Platform for Kubernetes」(2026-11-04公開、2026-11-07に全文確認)発表日(2026-11-04、サンフランシスコ)、一般提供、Apache 2.0、vLLMの上に位置する制御プレーン、機能5点(guardrails・KVキャッシュ考慮の負荷分散・意味ルーティング・burst to cloud・テナント別利用とコスト配賦)、Morgan氏の談話、CNCF 2026の66%、ライブストリーム(2026-11-19)
- Buoyantブログ「Distributed Inference Benchmarks: Kinference vs. Plain Kubernetes」(2026-11-04公開、2026-11-07に全文確認)ベンチマークの構成(AWS、vLLM 0.31.0、Qwen-3.8-27B-FP8、L40S×3pod×2群、GuideLLM 0.8.1)と測定値(共有プレフィックスのTTFT中央値6.88秒→0.31秒・E2E20.5秒→11.3秒、マルチターン65%減・32%減、対照では差なし、ピークgoodput14.0対103.0req/min、SLO到達はsvcなし・Kinferenceは共有プレフィックスで同時32まで)
- vLLM公式ブログ「Introducing Kinference: An Open Source Inference Control Plane for vLLM and Kubernetes」(2026-11-04公開、2026-11-07に全文確認)Apache 2.0での公開、GitHubリポジトリ(Kinference-AI/kinference)、OpenAI・Anthropic互換トラフィック、InferencePolicyのYAML例(意味ルーティング・burst to cloud・PIIのクラウド送信禁止)、テナント別メトリクス、インストール手順
出典の確認日 2026.11.07