文書QA、データラベリング、LLM評価では、同じ長い文書にたくさんの独立した質問を投げる。prefix cachingは文書のprefillの再計算を省けるが、通常の独立したリクエストでは、decodeの各ステップで質問ごとに文書のKVキャッシュを読み直す。回答ストリームの数だけ読み出しが増えるため、長文で質問数が多い負荷ではGPUのメモリ帯域が律速になる。
Parallel Promptingは、P個の質問を1リクエスト内のP個の独立ストリームとして並列にdecodeする。各ステップで共有文書のKVをPストリーム全体で1回だけ読み出し、attentionカーネル内部で評価するstream-idマスクが、各回答を文書とその質問にのみ条件づけたまま保つ。
「すべてのステップで共有文書をPストリーム全体で一度だけ読み、attentionカーネル内部で評価されるstream-idマスクが、各回答を文書とその質問だけに条件づけたまま保つ。」
every step reads the shared document once for all P streams, and a stream-id attention mask, evaluated inside the attention kernel, keeps each answer conditioned only on the document and its own question.
- 01 共有文書
8k〜16kトークン
同じ長文を1回だけprefillしてKVキャッシュを作る
- 02 質問の配置
64〜256問を1リクエスト
各質問を独立したストリームとして配置する
- 03 decode
文書KVを1回読み出し
各ステップで共有文書のKVを全ストリーム合計で1回読み出す
- 04 stream-idマスク
カーネル内で評価
各トークンの参照を文書と自分のストリームに限定する
- 05 CUDA graph
固定形状で記録
denseなマスクを作らず、decodeステップを固定形状で記録する
- 06 出力
並列に生成
P個の回答を1回のパスで生成する
arXiv:2611.15130のabstractと本文Section 3〜4、公式README(2026-11-18確認)から作成。対象はSGLang v0.5.22とv0.4.2.post3で、既存3ファイルへの変更は79行。
SGLangへの実装と計測結果
実装はSGLang v0.5.22とv0.4.2.post3の2つのリリースに移植され、既存3ファイルへの変更は79行、別途小さなエンジンパッケージを追加する。編集部分は並列バッチが有効なときだけ動き、通常のSGLangは元のコード経路を保つ。計測は6シードのペア比較で壁時間の比の幾何平均を取り、95%ブートストラップ信頼区間を添えている。stock SGLang(FlashInfer+CUDA graphs)比の結果は、A100-80GBで3.68倍(v0.4.2)〜3.74倍(v0.5.22)、RTX A6000で5.96倍(v0.4.2)〜5.91倍(v0.5.22)だった。2GPU×2リリース×6ワークロード×6入力セットの144回の計測すべてで、同一入力のstock SGLangより速かった。
A100・FlashInfer比
- SGLang 0.4.2
- 3.68倍
- SGLang 0.5.22
- 3.74倍
A6000・FlashInfer比
- SGLang 0.4.2
- 5.96倍
- SGLang 0.5.22
- 5.91倍
A100・Triton比
- SGLang 0.4.2
- 7.54倍
- SGLang 0.5.22
- 5.12倍
A6000・Triton比
- SGLang 0.4.2
- 6.52倍
- SGLang 0.5.22
- 5.65倍
公式READMEの結果表と論文Figure 3の値(2026-11-18確認)。95%ブートストラップCIはREADMEに記載(例: A100 FlashInfer比3.68倍[3.43, 3.94])。合成負荷はCodeLlama-7B-Instruct、8k〜16kトークンの文書、64〜256質問、128出力トークン。
実ベンチマークでの利得は仕事次第
実ベンチマークではQwen2.5-7B-Instructを使い、A100上で計測した。QuALITY(v1.0.1 dev split、115記事・2,086問)では、Parallel Promptingは全2,086問を73.6秒で回答し、stock FlashInfer比1.81倍、stock Triton比2.12倍だった。精度と再現率の差はQuALITYで0.33ポイント以内、LooGLEで0.36ポイント以内に収まる。一方、回答が長いLooGLE(平均234トークン)では、同じattentionカーネルを使うstock Triton比1.12倍にとどまり、stock FlashInferより1.26倍遅くなった。READMEのLimitationsの説明では、回答が長いと各ストリームが兄弟ストリームの回答トークンも読むため利得が縮む。短い回答を大量に作る仕事(4択や短い抽出)に向き、長文回答や、文書が異なる通常のチャット負荷にはそのままの利得を期待できない。
読むときの留保
実装はSGLangのschedulerやserverを経由せずModelRunnerを直接駆動するオフラインエンジンで、Tritonバックエンド、page size 1、単一GPU、greedy decodingの条件に限定される。SGLang標準のサーバーに統合された機能ではない。「最大約6倍」はRTX A6000の特定の短い回答条件での著者測定で、実務のワークロードへの転移を保証しない。論文はプレプリントで、査読や第三者による再測定は確認できていない。コードはSGLangと同じApache-2.0で公開され、overlay配下の修正ファイルはSGLangソースの改変コピーであるとREADMEに記載されている。
出典
- arXiv:2611.15130「Read Once, Answer Many: Parallel Prompting for Shared-Context LLM Inference」(2026-11-11投稿)stream-idマスクの仕組み、79行の実装規模、144計測、QuALITY 1.81倍(精度差0.33ポイント以内)、LooGLEでFlashInferより1.26倍低速
- GitHub jlab-nlp/parallel-prompting(README・LICENSE・Apache-2.0)6シード幾何平均の結果表(95%CI付き)、対象リリースとGPU、Limitations(オフラインエンジン・Triton・page size 1・単一GPU・greedy)
- プロジェクトページ公式ページの存在確認と論文・実装への導線
出典の確認日 2026.11.18