リポジトリbasetenlabs/deepseek-ultrafastは、2026年10月29日の初回コミットを経て、11月13日に性能数値を含むREADMEとともに広く知られるようになった(Hacker Newsへの投稿は11月13日17時39分UTC)。コードの構成はRust約69万バイト、CUDA約63万バイトで、確認時点のスターは377(2026-11-15時点の変動値)だった。対象モデルのDeepSeek-V4.1-FlashはHugging Faceで2026年9月10日から公開されているMITライセンスのモデルで、エンジン本体とはライセンスが異なる。
測定値と測定条件
READMEの性能表は、4基のGB300と8基のB300の2構成の値を示す。生成速度はコーディングタスクでのdecode値で、prefillは100万入力トークンの処理時間だ。測定に使ったのは「テトリスゲームを実装し、説明なしでHTMLコードを直接出力せよ」という単一の指示で、推論(thinking)モードは無効。同じ測定を30回行った範囲も併記され、生成速度は4基構成で毎秒1,700〜1,770トークン、8基構成で毎秒1,980〜2,170トークンだった。
Decode(コーディング)
- 4×GB300
- 毎秒1,740トークン
- 8×B300
- 毎秒2,060トークン
ステップ時間
- 4×GB300
- 3.30ミリ秒
- 8×B300
- 2.71ミリ秒
Prefill 100万トークン
- 4×GB300
- 13.2秒
- 8×B300
- 11.7秒
テンソル並列はそれぞれTP4・TP8。prefillのスループットは毎秒7.6万トークン(4×GB300)と毎秒8.5万トークン(8×B300)。1ステップ当たりの平均出力は5.6トークン。値はREADMEの開発元測定で、独立検証はない。
生成は投機的デコードで、1ステップがトークンのブロックを下書きして検証する。READMEの説明では、acceptance length(1ステップが出力する平均トークン数)は5.6トークンだ。
会話のKVキャッシュをサーバー間で移す
エンジンは会話ごとのKVキャッシュをターン間で保持する。複数サーバー構成では、直近の会話のキャッシュを各サーバーのホストメモリに置き、Redisがどのサーバーがどの会話のキャッシュを持つかを記録する。会話の次のターンが別のサーバーに届いた場合、そのサーバーはキャッシュの保持サーバーからRDMAでホストメモリ間転送を行い、プロンプトの再計算を避ける。
- 01 到着
会話の次ターン
リクエストが負荷分散されて任意のサーバーに届く。
- 02 照会
Redisで所有確認
Redisが会話ごとのキャッシュの所有サーバーを記録していて、所在を確認する。
- 03 転送
RDMAで移動
別のサーバーが持つ場合は、保持サーバーからRDMAでホストメモリ間転送する(Velo使用)。
- 04 再利用
再計算しない
取り込んだキャッシュで応答を続け、プロンプトの再計算を避ける。
構成と用語はREADME「KV cache sharing in multi-server setups」の記述。DeepSeekのKVキャッシュ圧縮により転送が高速で毎リクエストでも成立するとREADMEは説明し、prefix-awareルーティングが不要で負荷分散が改善するとしている。転送のコスト測定はない。
READMEはこの構成例としてdeploy/kubernetes.yamlを同梱する。マルチサーバー構成ではRedisインスタンスが必要で、単一サーバーでもローカルのRedisを起動する前提のビルド・起動手順が示される。
実装と動作要件
動作要件は、CUDA 13のツールキットと、4基以上のBlackwell世代GPU(4基のGB300、4基または8基のB300、4基または8基のB200)だ。APIはOpenAI互換で、READMEの例は/v1/chat/completionsに接続する。サードパーティ構成要素として、プロンプト処理のdeepseek-recipe、Hugging Faceのtokenizers、視覚エンコーダーのcuDNNとcuBLAS、画像デコードのOpenCV、KV転送のVeloを挙げる。
カーネルの最適化について、READMEの謝辞は「FlashInferとSGLangのソースを読めるコーディングエージェントがカーネルを最適化した」と記す。同社は11月10日のブログで、別モデルのDeepSeek V4.1 Flash 1017に80超のカーネル最適化を適用したFast変体を報告しており、今回のリポジトリはその延長上の公開になる。READMEはDeepSeek-V4.1-Flash-FastをBaseten Model APIsで提供すると記載するが、性能の詳細は示さない。
ライセンスと位置づけ
コードのライセンスはElastic License 2.0(Licensor: Baseten)で、利用・複製・改変・再配布は認める一方、ソフトウェアを実質的な機能の提供として第三者にホスト型・管理型サービスで提供することを禁じ、ライセンスキー機能の回避も禁じる。違反時はライセンスが終了するが、通知後30日以内の是正で復活する条項がある。OSI定義のオープンソースとは異なるライセンスであり、利用形態ごとの適合確認は必要だ。モデル本体はMITライセンスと別に扱う。
汎用推論基盤の最適化、投機的デコード、分散KVキャッシュの共有はいずれも既存の技術で、この公開は特定モデルとBlackwell世代GPUに特化した実装と、サーバー間キャッシュ移動を含む運用一式を公開した点にある。世界初とは主張していない。
出典
- GitHub: basetenlabs/deepseek-ultrafast(README)DeepSeek-V4.1-Flash向けエンジンの説明(sm_100a/sm_103a、1Mコンテキスト)、性能表(4×GB300でdecode 1,740 tok/s・step 3.30ms・prefill 100万トークン13.2秒、8×B300で2,060 tok/s・2.71ms・11.7秒、acceptance 5.6 tokens/step)、測定条件(テトリスHTML生成指示、thinking無効、30回測定の範囲1,700-1,770/1,980-2,170 tok/s)、KVキャッシュ共有(Redis所有権管理、RDMAのホストメモリ間転送、Velo、prefix-awareルーティング不要)、要件(CUDA 13、4基以上のGB300/B300/B200、Redis)、OpenAI互換API(/v1/chat/completions)、投機的デコード、deploy/kubernetes.yaml、Third-party libraries(deepseek-recipe、tokenizers、cuDNN、cuBLAS、OpenCV、Velo)、FlashInfer/SGLangのソースを読めるコーディングエージェントによるカーネル最適化の謝辞、DeepSeek-V4.1-Flash-FastのBaseten Model APIs提供。
- GitHub: basetenlabs/deepseek-ultrafast LICENSE(Elastic License 2.0)Licensor: Baseten。利用・複製・改変・再配布の許諾、第三者へのホスト型・管理型サービス提供の禁止、ライセンスキー機能回避の禁止、特許条項、通知後30日以内の是正による復活。
- GitHub API: basetenlabs/deepseek-ultrafast(リポジトリ情報・コミット履歴・言語構成)リポジトリ作成2026-10-27、初回コミット2026-10-29T23:33:55Z、README性能表追加コミット2026-11-13T18:53:17Z、言語構成Rust 692,990バイト/CUDA 625,669バイト、スター377(2026-11-15確認の変動値)。
- Hugging Face: deepseek-ai/DeepSeek-V4.1-Flash(モデルカード)対象モデルの公開(作成2026-09-10、最終更新2026-10-16)とMITライセンス。エンジンのElastic License 2.0とは別。
- Basetenブログ「How to make flash models even faster: optimizing DeepSeek V4.1 Flash 1017」(背景)2026-11-10公開。DeepSeek V4.1 Flash 1017に80超のカーネル最適化を適用したFast変体の報告。1017変体向けで今回のリポジトリとは別の話題。
- Hacker News「DeepSeek Ultrafast」(二次)リポジトリの投稿。提出2026-11-13T17:39:03Z、70ポイント・10コメント(2026-11-15確認)。公開が広く知られた時点の記録。
- Sulat AI & Tech Newsの解説(二次報道)公開の伝達(2026-11-15付)。数値や性能の独立検証ではない。
出典の確認日 2026.11.15