NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

Buoyant、KubernetesとvLLM向けの推論制御プレーン「Kinference」をOSS公開

Linkerd開発元のBuoyantは2026年11月4日、KubernetesとvLLMの上で動くオープンソースの推論制御プレーン「Kinference」の一般提供を発表しました。Apache 2.0ライセンスで公開されており、KVキャッシュを考慮した負荷分散、ポリシーによるルーティング、テナント別の利用量とコスト配賦を担います。性能の数値は同社測定のベンチマーク値です。

発表の根拠はBuoyant公式のプレスリリースです。Buoyantは2026年11月4日、Kubernetes向けの推論制御プレーン「Kinference」の一般提供を発表しました。オープンソースの推論エンジンvLLMの上に位置する層で、複数のモデル、GPU、マシンにまたがる推論にルーティング、負荷分散、ポリシーによる制御を加えます。ライセンスはApache 2.0で、発表当日から利用できます。

図解Kinferenceが置かれる位置と推論リクエストの流れ
  1. 01 推論クライアント

    互換APIで送信

    アプリやエージェントはKinferenceのHTTPエンドポイントへ、OpenAIまたはAnthropic互換の推論トラフィックを送る

  2. 02 Kinference制御プレーン

    ポリシーで振り分け

    YAMLのInferencePolicyに基づき、プロンプトの意味分類、テナント、GPUの状態から振り分け先を決定する

  3. 03 vLLMワーカー

    KVキャッシュ考慮

    各vLLM podのKVキャッシュの内容とキュー長を考慮し、prefixを再利用できるGPUへ優先して送る

  4. 04 クラウド側エンドポイント

    burst to cloud

    GPUプールの飽和などポリシーの条件を満たしたときだけ、外部のクラウドエンドポイントへ退避させる

Buoyant公式発表(2026-11-04)とvLLM公式ブログ(2026-11-04)の説明による。テナント別の利用量・コスト配賦とトークンレート制限も制御プレーンの機能です。

制御の単位は宣言的な「推論ポリシー」です。プラットフォームの運用者がYAMLでルールを書き、Gitにコミットして適用やロールバックができます。公式ブログの例では、プロンプトを意味分類して簡単な依頼を小さいモデルへ振り向ける規則、キューの深さがしきい値を超えたらBedrockやDatabricksなど外部エンドポイントへ退避させる規則、PIIの検出タグが付いたリクエストのクラウド送信を禁止する規則が示されています。テナントごとの利用量とコスト配賦、TTFTやITLといった指標の計測も制御プレーンの機能です。

性能については、Buoyantが公開ベンチマークの結果を発表と同時に示しています。測定はAWSのクラスタで、同一構成のvLLM 0.31.0プールを2群用意し、各群はL40S GPUを1枚ずつ使うvLLM pod 3台です。モデルはオープンウェイトのQwen-3.8-27B-FP8、負荷生成はGuideLLM 0.8.1です。比較相手は標準のKubernetes Serviceで、kube-proxyが接続ごとにpodをランダムに選ぶ動きになります。

図解会社公開ベンチマーク(共有プレフィックスのワークロード、L40S×3pod構成)
  • TTFT中央値(軽負荷)

    標準Service
    6.88秒
    Kinference
    0.31秒
  • E2E遅延の中央値(軽負荷)

    標準Service
    20.5秒
    Kinference
    11.3秒
  • ピークgoodput(req/min)

    標準Service
    14.0
    Kinference
    103.0
  • SLOを満たす最大の同時実行数

    標準Service
    なし(未達)
    Kinference
    共有プレフィックス32・マルチターン8

Buoyant公開ベンチマーク(2026-11-04)の会社測定値。vLLM 0.31.0、Qwen-3.8-27B-FP8、L40S搭載3pod×2群、GuideLLM 0.8.1の特定条件です。独立検証ではありません。マルチターンのワークロードではTTFT中央値65%減・E2E32%減、prefix共有のないワークロードではTTFT中央値に差は出ませんでした。ピークgoodputは約7.4倍。

数字の読み方には条件が付きます。改善が大きいのは、複数のユーザーが長い共通prefixを共有するワークロードです。KVキャッシュにprefixが残っているGPUへリクエストを集めると再計算が減るため、TTFTの中央値は6.88秒から0.31秒に下がりました。会話が伸びていくマルチターンのワークロードでは、最初の1ターンに再利用できるものがないため改善は小さく、TTFT中央値65%減、E2E32%減です。共通prefixが一切ない対照のワークロードでは中央値に差はなく、重い条件ではテールの改善だけが見られました。これらは同社の測定で、モデルとGPUの組み合わせを変えれば結果は変わると同社自身が書いています。

「企業には、組織内のさまざまな用途とテナントを統一的に扱える、プライベートAI向けのプラグアンドプレイな解が必要です。どのモデルや計算環境でも、プラットフォームエンジニアが簡単に導入できる信頼性と性能を持つ選択肢としてKinferenceを提供できることを嬉しく思います。」

Enterprises need a plug-and-play solution to private AI that allows them to handle the wide variety of use cases and tenants within their organization in a unified way... We're excited to launch Kinference as a reliable, high performance, secure option that platform engineers can easily adopt, no matter what the model or compute environment.

William Morgan氏(Buoyant CEO・創業者、同社発表掲載の談話)

背景として、Buoyantの発表はCNCFの2026年の調査を引用し、生成AIモデルを運用する組織の66%が推論の全部または一部にKubernetesを使うとしています。自社GPUでオープンウェイトモデルを動かす動きのなかで、推論エンジン単体では扱わないルーティング、統制、費用の見える化を埋めるのがこの層の役割です。

vLLMプロジェクトの公式ブログも同じ日にKinferenceの技術紹介を掲載しており、著者はKinferenceチーム名義です。現時点で性能の独立検証はなく、実環境での再現は今後の観察点です。推論エンジンはvLLMが前提で、他のエンジンやマネージドサービスとの組み合わせがどこまで広がるかも発表資料の範囲外です。こうした制御プレーン層の競争が推論コストの見える化を標準装備にしていくかは、この記事の編集部の解釈です。

出典

  1. Buoyant「Buoyant Announces Kinference: An Open Source Inference Serving Platform for Kubernetes」(2026-11-04公開、2026-11-07に全文確認)発表日(2026-11-04、サンフランシスコ)、一般提供、Apache 2.0、vLLMの上に位置する制御プレーン、機能5点(guardrails・KVキャッシュ考慮の負荷分散・意味ルーティング・burst to cloud・テナント別利用とコスト配賦)、Morgan氏の談話、CNCF 2026の66%、ライブストリーム(2026-11-19)
  2. Buoyantブログ「Distributed Inference Benchmarks: Kinference vs. Plain Kubernetes」(2026-11-04公開、2026-11-07に全文確認)ベンチマークの構成(AWS、vLLM 0.31.0、Qwen-3.8-27B-FP8、L40S×3pod×2群、GuideLLM 0.8.1)と測定値(共有プレフィックスのTTFT中央値6.88秒→0.31秒・E2E20.5秒→11.3秒、マルチターン65%減・32%減、対照では差なし、ピークgoodput14.0対103.0req/min、SLO到達はsvcなし・Kinferenceは共有プレフィックスで同時32まで)
  3. vLLM公式ブログ「Introducing Kinference: An Open Source Inference Control Plane for vLLM and Kubernetes」(2026-11-04公開、2026-11-07に全文確認)Apache 2.0での公開、GitHubリポジトリ(Kinference-AI/kinference)、OpenAI・Anthropic互換トラフィック、InferencePolicyのYAML例(意味ルーティング・burst to cloud・PIIのクラウド送信禁止)、テナント別メトリクス、インストール手順

出典の確認日 2026.11.07

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む