推測デコードは軽量なドラフトモデルが複数のトークンを先読みし、対象モデルが1回の順伝播で検証することで生成を速める仕組みで、速度はドラフトが対象モデルにどれだけ近いかで決まる。EAGLE型のドラフトヘッドは対象モデルの内部特徴を使う軽量な提案側で、構造、学習データ、学習手順、候補木の設定には専門家の手作業が要る。公開されたエージェントはこの探索を自動化し、各反復で設計を提案して学習させ、次の反復に結果を引き継ぐ。
「高速化は、エージェントがアクセスできない独立の採点プログラムで測定される。これにより報酬の不正操作が防がれる。」
Its speedup is then measured by a separate scoring program that the agent cannot access, which prevents reward hacking.
36時間の探索で得られた1.48倍
READMEとRESULTS.mdの著者測定では、MT-Bench(80問×2ターン、新トークン1024)をA100-SXM4-80GB 1基、バッチ1、greedyで実行した結果、エージェントが作ったヘッドは104.892トークン/秒(受理長τ3.2061)だった。同じ条件の比較対象は、内蔵のn-gram推測を有効にしたSGLangが70.932(τ1.6057)、vLLMが58.966(受理長2.016)。SGLang比は1.4788倍、vLLM比は1.78倍、Hugging Faceの逐次生成ループ(16.78トークン/秒)に対しては6.25倍になる。エージェントは人間の介入なしに36時間動いたと記載され、温度1.0では93.881トークン/秒に下がる。
HF generate()(eager)
- 速度
- 16.78
- 受理長τ
- —
vLLM(内蔵ngram)
- 速度
- 58.966
- 受理長τ
- 2.016
SGLang(内蔵NGRAM)
- 速度
- 70.932
- 受理長τ
- 1.6057
SGLang+学習ヘッド
- 速度
- 104.892
- 受理長τ
- 3.2061
速度の単位はトークン/秒。RESULTS.md(2026-11-17確認)。比較対象は各フレームワークの内蔵n-gram推測。SGLang比1.4788倍、vLLM比1.78倍、HF比6.25倍。温度1.0では93.881トークン/秒。
品質は同値、ただし比較相手はドラフトなし
品質は同一問題でのペア比較で、温度0の結果がGSM8K 500問の正答461(92.20%)がドラフトなしとヘッドありで同数、食い違いは5対5、HumanEval 164問の132(80.49%)が同数で食い違い2対2。McNemar検定の正確p値は1.0で、RESULTS.mdはこれをサンプリングノイズの範囲としている。ただし比較相手はドラフトを外した同じ構成で、SGLangとvLLMの比較対象の精度は測っていない。greedyでもbf16の同順位の扱いでトークン列は完全一致せず、30プロンプトの調査では約0.86%のトークンが変わったため、文書自身がlosslessと称しないよう注意を促している。
GSM8K(500問)
- ドラフトなし
- 92.20%
- +学習ヘッド
- 92.20%
- 不一致(勝:敗)
- 5:5
HumanEval(164問)
- ドラフトなし
- 80.49%
- +学習ヘッド
- 80.49%
- 不一致(勝:敗)
- 2:2
RESULTS.md(2026-11-17確認)。McNemar検定の正確p値1.0。SGLang・vLLMの比較対象アームの精度は未測定。トークン列はbf16のタイで約0.86%が相違。
公開物と現時点の留保
リポジトリにはエージェントとヘッド学習のソースコード、RESULTS.md、RECIPE.md、技術レポートPDF、依存を固定したrequirements-frozen.txt(torch 2.13.0+cu130、transformers 5.12.1、sglang 0.5.21、flashinfer 0.6.18)があり、ライセンスはMITだ。記録された探索は10ステップで、内部スコアは1.3190から2.2116まで上がり、頭打ちになっていない。内部の採点ハーネスはMT-Benchより約10%高い値を出すとRESULTS.mdは明記する。作成されたヘッドの重みは公開リリースで配布する前提の検証手順がREADMEに書かれているが、2026年11月17日時点でリポジトリにリリースは存在せず、参照されるダウンロードURLは404だった。つまり公開されている数値はリポジトリ内の文書に依存し、この手順どおりの第三者検証は現状できない。
数値の読み方にも条件が付く。比較は内蔵のn-gram推測と学習済みEAGLEヘッドの対で、両フレームワークに最適化済みEAGLEヘッドを載せた比較ではない。速度は仕事量で変わり、GSM8Kでは142.56トークン/秒(τ4.42)に達する一方、温度1.0のMT-Benchでは93.881まで落ちる。別マシンのクリーンなクローンで公開値を0.73%以内で再現したという記述は著者の報告である。ヘッドの学習と探索にはGPU時間と再学習コストがかかり、他モデルへの転移性も含めた費用対効果は本実装が示す範囲にない。
出典
- GitHub aibuildai-inc/aibuildai-llm-inference-agent README手法の説明、1.48倍/1.78倍/6.2倍、36時間無人探索、隔離された採点プログラム、依存バージョンとGPU要件
- 同リポジトリ RESULTS.md104.892/70.932/58.966/16.78トークン/秒と受理長、品質のペア比較(92.20%、80.49%、不一致5:5と2:2)、10ステップ探索の内部スコア、測定分解能、losslessと称しない注記
- 同リポジトリ LICENSEMITライセンスの原文(Copyright (c) 2026 AIBuildAI Team)
- 同リポジトリ Releasesページ公開リリースが存在しないことの確認(There aren't any releases、2026-11-17確認)。README参照のdraft_head.ptダウンロードURLは404
出典の確認日 2026.11.17