NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

カリフォルニア大学サンタクルーズ校、共有文書への多数の質問を並列生成する「Parallel Prompting」を公開──SGLang比最大約6倍、実ベンチマークでは1.81倍

カリフォルニア大学サンタクルーズ校のZekun Zhao氏とJeffrey Flanigan氏は2026年11月11日、同じ長文文書への多数の独立した質問を単一リクエスト内の並列ストリームとして生成する手法「Parallel Prompting」を論文公開した(arXiv:2611.15130)。SGLangへの変更は既存3ファイルに79行と小さなエンジンパッケージで、CodeLlama-7Bによる合成負荷ではstock SGLang(FlashInferバックエンド比)でA100の3.68〜3.74倍、RTX A6000の5.91〜5.96倍を報告する。実ベンチマークQuALITYでは1.81倍で、精度差は0.33ポイント以内だった。実装はApache-2.0で公開されている。

文書QA、データラベリング、LLM評価では、同じ長い文書にたくさんの独立した質問を投げる。prefix cachingは文書のprefillの再計算を省けるが、通常の独立したリクエストでは、decodeの各ステップで質問ごとに文書のKVキャッシュを読み直す。回答ストリームの数だけ読み出しが増えるため、長文で質問数が多い負荷ではGPUのメモリ帯域が律速になる。

Parallel Promptingは、P個の質問を1リクエスト内のP個の独立ストリームとして並列にdecodeする。各ステップで共有文書のKVをPストリーム全体で1回だけ読み出し、attentionカーネル内部で評価するstream-idマスクが、各回答を文書とその質問にのみ条件づけたまま保つ。

「すべてのステップで共有文書をPストリーム全体で一度だけ読み、attentionカーネル内部で評価されるstream-idマスクが、各回答を文書とその質問だけに条件づけたまま保つ。」

every step reads the shared document once for all P streams, and a stream-id attention mask, evaluated inside the attention kernel, keeps each answer conditioned only on the document and its own question.

arXiv:2611.15130「Read Once, Answer Many: Parallel Prompting for Shared-Context LLM Inference」のabstract(2026-11-11投稿、2026-11-18確認)
図解Parallel Promptingの処理の流れ
  1. 01 共有文書

    8k〜16kトークン

    同じ長文を1回だけprefillしてKVキャッシュを作る

  2. 02 質問の配置

    64〜256問を1リクエスト

    各質問を独立したストリームとして配置する

  3. 03 decode

    文書KVを1回読み出し

    各ステップで共有文書のKVを全ストリーム合計で1回読み出す

  4. 04 stream-idマスク

    カーネル内で評価

    各トークンの参照を文書と自分のストリームに限定する

  5. 05 CUDA graph

    固定形状で記録

    denseなマスクを作らず、decodeステップを固定形状で記録する

  6. 06 出力

    並列に生成

    P個の回答を1回のパスで生成する

arXiv:2611.15130のabstractと本文Section 3〜4、公式README(2026-11-18確認)から作成。対象はSGLang v0.5.22とv0.4.2.post3で、既存3ファイルへの変更は79行。

SGLangへの実装と計測結果

実装はSGLang v0.5.22とv0.4.2.post3の2つのリリースに移植され、既存3ファイルへの変更は79行、別途小さなエンジンパッケージを追加する。編集部分は並列バッチが有効なときだけ動き、通常のSGLangは元のコード経路を保つ。計測は6シードのペア比較で壁時間の比の幾何平均を取り、95%ブートストラップ信頼区間を添えている。stock SGLang(FlashInfer+CUDA graphs)比の結果は、A100-80GBで3.68倍(v0.4.2)〜3.74倍(v0.5.22)、RTX A6000で5.96倍(v0.4.2)〜5.91倍(v0.5.22)だった。2GPU×2リリース×6ワークロード×6入力セットの144回の計測すべてで、同一入力のstock SGLangより速かった。

図解合成負荷での高速化倍率(6シード幾何平均、著者測定)
  • A100・FlashInfer比

    SGLang 0.4.2
    3.68倍
    SGLang 0.5.22
    3.74倍
  • A6000・FlashInfer比

    SGLang 0.4.2
    5.96倍
    SGLang 0.5.22
    5.91倍
  • A100・Triton比

    SGLang 0.4.2
    7.54倍
    SGLang 0.5.22
    5.12倍
  • A6000・Triton比

    SGLang 0.4.2
    6.52倍
    SGLang 0.5.22
    5.65倍

公式READMEの結果表と論文Figure 3の値(2026-11-18確認)。95%ブートストラップCIはREADMEに記載(例: A100 FlashInfer比3.68倍[3.43, 3.94])。合成負荷はCodeLlama-7B-Instruct、8k〜16kトークンの文書、64〜256質問、128出力トークン。

実ベンチマークでの利得は仕事次第

実ベンチマークではQwen2.5-7B-Instructを使い、A100上で計測した。QuALITY(v1.0.1 dev split、115記事・2,086問)では、Parallel Promptingは全2,086問を73.6秒で回答し、stock FlashInfer比1.81倍、stock Triton比2.12倍だった。精度と再現率の差はQuALITYで0.33ポイント以内、LooGLEで0.36ポイント以内に収まる。一方、回答が長いLooGLE(平均234トークン)では、同じattentionカーネルを使うstock Triton比1.12倍にとどまり、stock FlashInferより1.26倍遅くなった。READMEのLimitationsの説明では、回答が長いと各ストリームが兄弟ストリームの回答トークンも読むため利得が縮む。短い回答を大量に作る仕事(4択や短い抽出)に向き、長文回答や、文書が異なる通常のチャット負荷にはそのままの利得を期待できない。

読むときの留保

実装はSGLangのschedulerやserverを経由せずModelRunnerを直接駆動するオフラインエンジンで、Tritonバックエンド、page size 1、単一GPU、greedy decodingの条件に限定される。SGLang標準のサーバーに統合された機能ではない。「最大約6倍」はRTX A6000の特定の短い回答条件での著者測定で、実務のワークロードへの転移を保証しない。論文はプレプリントで、査読や第三者による再測定は確認できていない。コードはSGLangと同じApache-2.0で公開され、overlay配下の修正ファイルはSGLangソースの改変コピーであるとREADMEに記載されている。

出典

  1. arXiv:2611.15130「Read Once, Answer Many: Parallel Prompting for Shared-Context LLM Inference」(2026-11-11投稿)stream-idマスクの仕組み、79行の実装規模、144計測、QuALITY 1.81倍(精度差0.33ポイント以内)、LooGLEでFlashInferより1.26倍低速
  2. GitHub jlab-nlp/parallel-prompting(README・LICENSE・Apache-2.0)6シード幾何平均の結果表(95%CI付き)、対象リリースとGPU、Limitations(オフラインエンジン・Triton・page size 1・単一GPU・greedy)
  3. プロジェクトページ公式ページの存在確認と論文・実装への導線

出典の確認日 2026.11.18

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む