論文「Adversarial Speculative Reasoning Improves Long Horizon Agents」はarXivに2026年11月3日付で登録された(cs.AI、v1)。著者はHongyin Luo、Wei Fang(両名が同等貢献)、Lijie Yang、Owen Stepan、Daniel Suit、Jeff Krapf、Dana Wensberg、Jack O'Brienの8名で、所属はSubconscious Systems Technologies, Inc.、MIT、Princeton大学、Northeastern大学だ。評価に使ったのは、公開重みのGLM-5.3-nvfp4(8トークン検証ブロックのDFlash2ドラフト、Hugging FaceのRadixArk/GLM-5.3-NVFP4、safetensors実測約381GB)とDeepSeek-V4.1-Flash(6トークン検証ブロックのDSPARKドラフト)で、提供はSGLangベースの推論インスタンスだ。論文に公開コードの記載はなく、今回の確認時点で公開実装リポジトリは見つかっていない。
- 01 判断点の特定
コミット文
エージェント軌跡の推論から、判断を確定させる文をターゲットモデル自身の判定で抜き出す。
- 02 フォーク対の作成
2,843対(GLM-5.3)
判断点の直前で分岐し、温度1・top-p 0.95で16本の継続を再サンプリング。望ましい側と望ましくない側を1対にする。
- 03 逆方向のDPO学習
0.06〜0.28%
ドラフトが望ましくない側の言い回しを提案するよう学習する。訓練パラメータは配備済みのターゲット+ドラフト全体の0.28%(GLM-5.3)と0.06%(DeepSeek-V4.1-Flash)。
- 04 推論時の分離
棄却→再サンプリング
判断点でドラフトとターゲットが分かれ、棄却と残差サンプリングでターゲット自身の出力が書き込まれる。検証ルールは変更しない。
- 05 新しいブロックの先頭
スロット0
再サンプリングされたトークンが次の検証ブロックのスロット0になり、以降の推論が最も誤差の小さい位置から書き込まれる。
論文要旨とSec.4の説明に基づく。フォーク対などの数値は著者の実験設定。
検証ブロックの中で誤差が増える
推測デコードは、小型のドラフトモデルが複数トークンを提案し、大型のターゲットモデルが一括で検証することで生成を速くする。棄却サンプリングの理論上、出力分布はターゲットと同一に保たれる。論文はこの保証を「理想的なターゲット」についての話と位置付け、量子化された重みとKVキャッシュで動く実機では、検証ブロック内のどこにトークンが座るかで数値精度が違うと観測した。
「推測検証は分布に関して損失を生まないが、精度に関して中立ではない。トークンが検証ブロックのどこに座るかで、ターゲットがそれをどれだけ正確に符号化するかが決まる。」
Speculative verification is therefore lossless in distribution but not neutral in precision: where a token sits in a verification block determines how precisely the target encodes it.
GLM-5.3の8トークンのDFlashブロックでは、ブロックの先頭スロット0の誤差はシングルトークンデコードと同じで、以降はスロットが進むごとにおよそ4%ずつ増える。対数確率が2ナット以上ずれる大きな偏差は、最終スロットでは先頭スロットの約2倍の頻度になる。DeepSeek-V4.1-Flashの6トークンのDSPARKブロックでも同じ傾向で、絶対的な誤差はGLM-5.3の半分だが、相対的な増加率は同じく約4%毎スロットだった。論文は要旨で、思考過程のドラフト採用結果が30ステップ後にモデルの出力分布に影響し、長期エージェントの推論精度をランダムな方向に動かしうると述べている。
ドラフトを「棄却されたい」方向に学習する
エージェントの推論の大部分は日常的なトークンで、重要なのは要求の読み方を決め、エッジケースのテスト可否を判断し、変更を承認する少数の判断点だ。論文は判断点を推論の中のコミット文(committing sentence)で特定し、判定には外部の強いモデルでなくターゲットモデル自身を使う。各判断点で分岐させた継続のうち、テストやスクリプトを実行する側を望ましい側、別のコマンドだけを出す側を望ましくない側とラベル付けする。
学習は通常のDPOだが方向が逆で、ドラフトに望ましくない側の言い回しを提案させる。検証は正確なままなので、ドラフトはターゲットに望ましい推論を生成させられず、生成頻度は推測デコードなしの場合と同じままだ。変わるのは、望ましい推論が生成されたときに棄却と再サンプリングを経由してブロックの先頭から書き込まれる配置だ。データはGLM-5.3で29タスクから1,668フォーク(16継続、28,356サンプル)と2,843対を作り、6タスク(619対)を評価用に除外した。DeepSeek-V4.1-Flashではテスト実行の選好で2,203フォーク(12継続、26,418サンプル)、92タスクから6,391対を作り、10%のタスク(719対)を除外して5,100対で学習した。訓練対象はGLM-5.3のDFlash2で2.15Bパラメータ(ドラフトの87%)、DeepSeek-V4.1-FlashのDSPARKで449Mパラメータ(ドラフトの3.2%)だ。
学習できるのは言い回しまで、判断の正誤は学べない
除外タスクでの選好精度は、GLM-5.3の判断枠組み(decision frame)で敵対的方向が0.635、DeepSeek-V4.1-Flashのテスト実行で0.85と、両方向とも学習できた(テスト実行は0.83と0.85、枠組みは0.59と0.635)。一方、「その判断が実際に正しかったか」を予測する選好は、36構成の順方向と12構成の敵対的方向の最良値でも0.61と0.57にとどまり、偶然の一致(0.5)の信頼区間内だった。論文はこれを理由に、正誤ではなく言い回しの選好だけを訓練対象にしている。ドラフトはどちらが正しいかを知る必要はなく、ターゲットが棄却する言い回しを提案できればよい、というのが設計だ。
成功率の改善は有意とそうでない条件が混在
エンドツーエンドの評価は、DeepSWE(113タスク、隠しテストで採点)とNL2Repo-Bench(104リポジトリをpytestで採点)で、各条件5回の独立実行の平均を比べた。コンテキストは200Kトークンを超えて伸びる設定だ。
GLM-5.3-nvfp4
- DeepSWE
- 60.6→67.6%
- 差
- +7.0(CI 2.6〜11.4)
- NL2Repo-Bench
- 49.1→55.0%
- 差
- +5.8
DeepSeek-V4.1-Flash
- DeepSWE
- 67.8→71.8%
- 差
- +4.0(CI −1.3〜7.3)
- NL2Repo-Bench
- 65.0→66.4%
- 差
- +1.4(p=0.011)
論文Figure 5(a, b)の平均値。差はポイントで、括弧は95%信頼区間。有意に届いた2条件(GLM-5.3のDeepSWE、DeepSeek-V4.1-FlashのNL2Repo-Bench)は、ベンチマーク・ターゲット・ドラフトがそれぞれ異なる。数値は著者の実験結果で、第三者による再現はまだない。
論文自身が、この差を「より良いモデル」によるものと切り分けている。出力分布は変わっておらず、敵対的ドラフトが変えるのはブロックの終端位置だけだと論じる。裏付けとして、同じフォーク対で望ましい方向に学習したドラフトは成績を下げ(GLM-5.3が60.6%から55.7%、DeepSeek-V4.1-Flashが67.8%から66.4%)、判断の正誤や思考長など配備していない選好で学習した27実行を合計しても67.5%対67.8%で差がなかった(Welch p=0.83)。配備したテスト実行ドラフトは、無関係なドラフト群より4.3ポイント高い(p=0.018)。
速度はほぼ犠牲にしない
棄却率を判断点で上げると、受け入れ長が下がって速度が落ちるはずだ。実測では、ブロックあたりの期待受け入れトークン数はGLM-5.3で学習前後とも2.28、DeepSeek-V4.1-Flashでは2.5対2.46と1.8%の差だった。ドラフトの各スロットのtop-1一致率の変化はGLM-5.3で−0.4〜+0.2ポイント、DeepSeek-V4.1-Flashで−1.2〜−0.4ポイントと、受け入れ曲線の形は保たれた。
「言い換えれば、大幅に改善された推論能力と引き換えに、デコード速度の最大2%を支払った。」
In other words, we traded up to 2% decoding speed for significantly improved reasoning capability.
論文に公開コードの記載はなく、学習データの公開予定も書かれていない。改善の大きさは著者の測定条件(2つの750B級モデル、2つのベンチマーク、SGLang上の特定のドラフト構成)に限られ、第三者再現は今回の確認時点で見つかっていない。推測デコード全般が精度を悪化させるとの一般化は、この論文自身の主張からも導けない。判断点の特定がコミット文の抽出に依存するため、コーディング以外の長期タスクへの転用も未検証だ。
出典
- Adversarial Speculative Reasoning Improves Long Horizon Agents(arXiv:2611.05345、PDF全文)提出 2026-11-03(v1)。著者8名と所属、要旨、Sec.1のノイズ観測(スロットごと約4%増、2ナット偏差が最終スロットで約2倍)、Sec.4の判断点・フォーク対・学習設定、Sec.5.1の選好精度、Sec.5.2のFigure 5と切り分け分析、Sec.5.3の受け入れ長。確認日 2026-11-12
- RadixArk/GLM-5.3-NVFP4(Hugging Face)論文が評価に使うGLM-5.3-nvfp4の公開重み。作成 2026-08-28、safetensors合計380,989,135,104パラメータ(Hugging Face API実測)。論文Sec.4脚注のURLと一致。確認日 2026-11-12
出典の確認日 2026.11.12