NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

Baseten、DeepSeek-V4.1-Flash専用の推論エンジンをRust/CUDAで公開――8基のB300で毎秒2,060トークンを報告、サーバー間のKVキャッシュ移動も実装

Basetenは2026年11月13日、DeepSeek-V4.1-Flash専用の推論エンジン「DeepSeek Ultrafast」をGitHubで公開した。Blackwell世代のGPU(B200、GB300、B300)を対象にしたRustとCUDAの実装で、開発元の測定では8基のB300を使ったHTML生成タスクで毎秒2,060トークンの生成、100万入力トークンのprefillを11.7秒と報告している。会話ごとのKVキャッシュをサーバー間で移す仕組みをRedisとRDMAで実装し、Kubernetesのデプロイ例も同梱する。ライセンスはElastic License 2.0で、性能数値は開発元測定であり独立した検証はまだない。

リポジトリbasetenlabs/deepseek-ultrafastは、2026年10月29日の初回コミットを経て、11月13日に性能数値を含むREADMEとともに広く知られるようになった(Hacker Newsへの投稿は11月13日17時39分UTC)。コードの構成はRust約69万バイト、CUDA約63万バイトで、確認時点のスターは377(2026-11-15時点の変動値)だった。対象モデルのDeepSeek-V4.1-FlashはHugging Faceで2026年9月10日から公開されているMITライセンスのモデルで、エンジン本体とはライセンスが異なる。

測定値と測定条件

READMEの性能表は、4基のGB300と8基のB300の2構成の値を示す。生成速度はコーディングタスクでのdecode値で、prefillは100万入力トークンの処理時間だ。測定に使ったのは「テトリスゲームを実装し、説明なしでHTMLコードを直接出力せよ」という単一の指示で、推論(thinking)モードは無効。同じ測定を30回行った範囲も併記され、生成速度は4基構成で毎秒1,700〜1,770トークン、8基構成で毎秒1,980〜2,170トークンだった。

図解READMEの性能表(開発元測定)
  • Decode(コーディング)

    4×GB300
    毎秒1,740トークン
    8×B300
    毎秒2,060トークン
  • ステップ時間

    4×GB300
    3.30ミリ秒
    8×B300
    2.71ミリ秒
  • Prefill 100万トークン

    4×GB300
    13.2秒
    8×B300
    11.7秒

テンソル並列はそれぞれTP4・TP8。prefillのスループットは毎秒7.6万トークン(4×GB300)と毎秒8.5万トークン(8×B300)。1ステップ当たりの平均出力は5.6トークン。値はREADMEの開発元測定で、独立検証はない。

生成は投機的デコードで、1ステップがトークンのブロックを下書きして検証する。READMEの説明では、acceptance length(1ステップが出力する平均トークン数)は5.6トークンだ。

会話のKVキャッシュをサーバー間で移す

エンジンは会話ごとのKVキャッシュをターン間で保持する。複数サーバー構成では、直近の会話のキャッシュを各サーバーのホストメモリに置き、Redisがどのサーバーがどの会話のキャッシュを持つかを記録する。会話の次のターンが別のサーバーに届いた場合、そのサーバーはキャッシュの保持サーバーからRDMAでホストメモリ間転送を行い、プロンプトの再計算を避ける。

図解複数サーバーでのKVキャッシュ共有(READMEによる)
  1. 01 到着

    会話の次ターン

    リクエストが負荷分散されて任意のサーバーに届く。

  2. 02 照会

    Redisで所有確認

    Redisが会話ごとのキャッシュの所有サーバーを記録していて、所在を確認する。

  3. 03 転送

    RDMAで移動

    別のサーバーが持つ場合は、保持サーバーからRDMAでホストメモリ間転送する(Velo使用)。

  4. 04 再利用

    再計算しない

    取り込んだキャッシュで応答を続け、プロンプトの再計算を避ける。

構成と用語はREADME「KV cache sharing in multi-server setups」の記述。DeepSeekのKVキャッシュ圧縮により転送が高速で毎リクエストでも成立するとREADMEは説明し、prefix-awareルーティングが不要で負荷分散が改善するとしている。転送のコスト測定はない。

READMEはこの構成例としてdeploy/kubernetes.yamlを同梱する。マルチサーバー構成ではRedisインスタンスが必要で、単一サーバーでもローカルのRedisを起動する前提のビルド・起動手順が示される。

実装と動作要件

動作要件は、CUDA 13のツールキットと、4基以上のBlackwell世代GPU(4基のGB300、4基または8基のB300、4基または8基のB200)だ。APIはOpenAI互換で、READMEの例は/v1/chat/completionsに接続する。サードパーティ構成要素として、プロンプト処理のdeepseek-recipe、Hugging Faceのtokenizers、視覚エンコーダーのcuDNNとcuBLAS、画像デコードのOpenCV、KV転送のVeloを挙げる。

カーネルの最適化について、READMEの謝辞は「FlashInferとSGLangのソースを読めるコーディングエージェントがカーネルを最適化した」と記す。同社は11月10日のブログで、別モデルのDeepSeek V4.1 Flash 1017に80超のカーネル最適化を適用したFast変体を報告しており、今回のリポジトリはその延長上の公開になる。READMEはDeepSeek-V4.1-Flash-FastをBaseten Model APIsで提供すると記載するが、性能の詳細は示さない。

ライセンスと位置づけ

コードのライセンスはElastic License 2.0(Licensor: Baseten)で、利用・複製・改変・再配布は認める一方、ソフトウェアを実質的な機能の提供として第三者にホスト型・管理型サービスで提供することを禁じ、ライセンスキー機能の回避も禁じる。違反時はライセンスが終了するが、通知後30日以内の是正で復活する条項がある。OSI定義のオープンソースとは異なるライセンスであり、利用形態ごとの適合確認は必要だ。モデル本体はMITライセンスと別に扱う。

汎用推論基盤の最適化、投機的デコード、分散KVキャッシュの共有はいずれも既存の技術で、この公開は特定モデルとBlackwell世代GPUに特化した実装と、サーバー間キャッシュ移動を含む運用一式を公開した点にある。世界初とは主張していない。

出典

  1. GitHub: basetenlabs/deepseek-ultrafast(README)DeepSeek-V4.1-Flash向けエンジンの説明(sm_100a/sm_103a、1Mコンテキスト)、性能表(4×GB300でdecode 1,740 tok/s・step 3.30ms・prefill 100万トークン13.2秒、8×B300で2,060 tok/s・2.71ms・11.7秒、acceptance 5.6 tokens/step)、測定条件(テトリスHTML生成指示、thinking無効、30回測定の範囲1,700-1,770/1,980-2,170 tok/s)、KVキャッシュ共有(Redis所有権管理、RDMAのホストメモリ間転送、Velo、prefix-awareルーティング不要)、要件(CUDA 13、4基以上のGB300/B300/B200、Redis)、OpenAI互換API(/v1/chat/completions)、投機的デコード、deploy/kubernetes.yaml、Third-party libraries(deepseek-recipe、tokenizers、cuDNN、cuBLAS、OpenCV、Velo)、FlashInfer/SGLangのソースを読めるコーディングエージェントによるカーネル最適化の謝辞、DeepSeek-V4.1-Flash-FastのBaseten Model APIs提供。
  2. GitHub: basetenlabs/deepseek-ultrafast LICENSE(Elastic License 2.0)Licensor: Baseten。利用・複製・改変・再配布の許諾、第三者へのホスト型・管理型サービス提供の禁止、ライセンスキー機能回避の禁止、特許条項、通知後30日以内の是正による復活。
  3. GitHub API: basetenlabs/deepseek-ultrafast(リポジトリ情報・コミット履歴・言語構成)リポジトリ作成2026-10-27、初回コミット2026-10-29T23:33:55Z、README性能表追加コミット2026-11-13T18:53:17Z、言語構成Rust 692,990バイト/CUDA 625,669バイト、スター377(2026-11-15確認の変動値)。
  4. Hugging Face: deepseek-ai/DeepSeek-V4.1-Flash(モデルカード)対象モデルの公開(作成2026-09-10、最終更新2026-10-16)とMITライセンス。エンジンのElastic License 2.0とは別。
  5. Basetenブログ「How to make flash models even faster: optimizing DeepSeek V4.1 Flash 1017」(背景)2026-11-10公開。DeepSeek V4.1 Flash 1017に80超のカーネル最適化を適用したFast変体の報告。1017変体向けで今回のリポジトリとは別の話題。
  6. Hacker News「DeepSeek Ultrafast」(二次)リポジトリの投稿。提出2026-11-13T17:39:03Z、70ポイント・10コメント(2026-11-15確認)。公開が広く知られた時点の記録。
  7. Sulat AI & Tech Newsの解説(二次報道)公開の伝達(2026-11-15付)。数値や性能の独立検証ではない。

出典の確認日 2026.11.15

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む