NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

SubconsciousがAdversarial Speculative Reasoningを発表 判断点でドラフトを棄却させて推測デコードの数値誤差を制御し、DeepSWE成功率を60.6%から67.6%へ(著者報告)

米Subconscious Systems Technologiesに所属する研究者を中心に、MIT・Princeton大学・Northeastern大学の著者を含む8名のチームは2026年11月3日、推測デコードの検証ブロック内で数値誤差が位置とともに増えるという観測に基づき、重要な判断点でドラフトモデルが棄却されるよう逆方向の選好学習をする手法Adversarial Speculative Reasoningの論文をarXivに公開した。ターゲットモデルの重みは変更せず、配備済みのパラメータの0.06〜0.28%だけを学習する。複雑なコーディングエージェント評価DeepSWEではGLM-5.3-nvfp4の成功率が60.6%から67.6%(+7.0ポイント)に上がり、DeepSeek-V4.1-Flashは67.8%から71.8%(+4.0ポイント、95%信頼区間は0を含む)だった。数値はすべて著者の報告で、公開実装コードは確認できず、第三者による再現はまだない。

論文「Adversarial Speculative Reasoning Improves Long Horizon Agents」はarXivに2026年11月3日付で登録された(cs.AI、v1)。著者はHongyin Luo、Wei Fang(両名が同等貢献)、Lijie Yang、Owen Stepan、Daniel Suit、Jeff Krapf、Dana Wensberg、Jack O'Brienの8名で、所属はSubconscious Systems Technologies, Inc.、MIT、Princeton大学、Northeastern大学だ。評価に使ったのは、公開重みのGLM-5.3-nvfp4(8トークン検証ブロックのDFlash2ドラフト、Hugging FaceのRadixArk/GLM-5.3-NVFP4、safetensors実測約381GB)とDeepSeek-V4.1-Flash(6トークン検証ブロックのDSPARKドラフト)で、提供はSGLangベースの推論インスタンスだ。論文に公開コードの記載はなく、今回の確認時点で公開実装リポジトリは見つかっていない。

図解Adversarial Speculative Reasoningの学習と推論の流れ(論文要旨・Sec.4に基づく)
  1. 01 判断点の特定

    コミット文

    エージェント軌跡の推論から、判断を確定させる文をターゲットモデル自身の判定で抜き出す。

  2. 02 フォーク対の作成

    2,843対(GLM-5.3)

    判断点の直前で分岐し、温度1・top-p 0.95で16本の継続を再サンプリング。望ましい側と望ましくない側を1対にする。

  3. 03 逆方向のDPO学習

    0.06〜0.28%

    ドラフトが望ましくない側の言い回しを提案するよう学習する。訓練パラメータは配備済みのターゲット+ドラフト全体の0.28%(GLM-5.3)と0.06%(DeepSeek-V4.1-Flash)。

  4. 04 推論時の分離

    棄却→再サンプリング

    判断点でドラフトとターゲットが分かれ、棄却と残差サンプリングでターゲット自身の出力が書き込まれる。検証ルールは変更しない。

  5. 05 新しいブロックの先頭

    スロット0

    再サンプリングされたトークンが次の検証ブロックのスロット0になり、以降の推論が最も誤差の小さい位置から書き込まれる。

論文要旨とSec.4の説明に基づく。フォーク対などの数値は著者の実験設定。

検証ブロックの中で誤差が増える

推測デコードは、小型のドラフトモデルが複数トークンを提案し、大型のターゲットモデルが一括で検証することで生成を速くする。棄却サンプリングの理論上、出力分布はターゲットと同一に保たれる。論文はこの保証を「理想的なターゲット」についての話と位置付け、量子化された重みとKVキャッシュで動く実機では、検証ブロック内のどこにトークンが座るかで数値精度が違うと観測した。

「推測検証は分布に関して損失を生まないが、精度に関して中立ではない。トークンが検証ブロックのどこに座るかで、ターゲットがそれをどれだけ正確に符号化するかが決まる。」

Speculative verification is therefore lossless in distribution but not neutral in precision: where a token sits in a verification block determines how precisely the target encodes it.

論文Sec.1、arXiv:2611.05345

GLM-5.3の8トークンのDFlashブロックでは、ブロックの先頭スロット0の誤差はシングルトークンデコードと同じで、以降はスロットが進むごとにおよそ4%ずつ増える。対数確率が2ナット以上ずれる大きな偏差は、最終スロットでは先頭スロットの約2倍の頻度になる。DeepSeek-V4.1-Flashの6トークンのDSPARKブロックでも同じ傾向で、絶対的な誤差はGLM-5.3の半分だが、相対的な増加率は同じく約4%毎スロットだった。論文は要旨で、思考過程のドラフト採用結果が30ステップ後にモデルの出力分布に影響し、長期エージェントの推論精度をランダムな方向に動かしうると述べている。

ドラフトを「棄却されたい」方向に学習する

エージェントの推論の大部分は日常的なトークンで、重要なのは要求の読み方を決め、エッジケースのテスト可否を判断し、変更を承認する少数の判断点だ。論文は判断点を推論の中のコミット文(committing sentence)で特定し、判定には外部の強いモデルでなくターゲットモデル自身を使う。各判断点で分岐させた継続のうち、テストやスクリプトを実行する側を望ましい側、別のコマンドだけを出す側を望ましくない側とラベル付けする。

学習は通常のDPOだが方向が逆で、ドラフトに望ましくない側の言い回しを提案させる。検証は正確なままなので、ドラフトはターゲットに望ましい推論を生成させられず、生成頻度は推測デコードなしの場合と同じままだ。変わるのは、望ましい推論が生成されたときに棄却と再サンプリングを経由してブロックの先頭から書き込まれる配置だ。データはGLM-5.3で29タスクから1,668フォーク(16継続、28,356サンプル)と2,843対を作り、6タスク(619対)を評価用に除外した。DeepSeek-V4.1-Flashではテスト実行の選好で2,203フォーク(12継続、26,418サンプル)、92タスクから6,391対を作り、10%のタスク(719対)を除外して5,100対で学習した。訓練対象はGLM-5.3のDFlash2で2.15Bパラメータ(ドラフトの87%)、DeepSeek-V4.1-FlashのDSPARKで449Mパラメータ(ドラフトの3.2%)だ。

学習できるのは言い回しまで、判断の正誤は学べない

除外タスクでの選好精度は、GLM-5.3の判断枠組み(decision frame)で敵対的方向が0.635、DeepSeek-V4.1-Flashのテスト実行で0.85と、両方向とも学習できた(テスト実行は0.83と0.85、枠組みは0.59と0.635)。一方、「その判断が実際に正しかったか」を予測する選好は、36構成の順方向と12構成の敵対的方向の最良値でも0.61と0.57にとどまり、偶然の一致(0.5)の信頼区間内だった。論文はこれを理由に、正誤ではなく言い回しの選好だけを訓練対象にしている。ドラフトはどちらが正しいかを知る必要はなく、ターゲットが棄却する言い回しを提案できればよい、というのが設計だ。

成功率の改善は有意とそうでない条件が混在

エンドツーエンドの評価は、DeepSWE(113タスク、隠しテストで採点)とNL2Repo-Bench(104リポジトリをpytestで採点)で、各条件5回の独立実行の平均を比べた。コンテキストは200Kトークンを超えて伸びる設定だ。

図解成功率:無調整ドラフト(base)対敵対的ドラフト(adv.)(論文Figure 5、各5回の平均、著者報告)
  • GLM-5.3-nvfp4

    DeepSWE
    60.6→67.6%
    差
    +7.0(CI 2.6〜11.4)
    NL2Repo-Bench
    49.1→55.0%
    差
    +5.8
  • DeepSeek-V4.1-Flash

    DeepSWE
    67.8→71.8%
    差
    +4.0(CI −1.3〜7.3)
    NL2Repo-Bench
    65.0→66.4%
    差
    +1.4(p=0.011)

論文Figure 5(a, b)の平均値。差はポイントで、括弧は95%信頼区間。有意に届いた2条件(GLM-5.3のDeepSWE、DeepSeek-V4.1-FlashのNL2Repo-Bench)は、ベンチマーク・ターゲット・ドラフトがそれぞれ異なる。数値は著者の実験結果で、第三者による再現はまだない。

論文自身が、この差を「より良いモデル」によるものと切り分けている。出力分布は変わっておらず、敵対的ドラフトが変えるのはブロックの終端位置だけだと論じる。裏付けとして、同じフォーク対で望ましい方向に学習したドラフトは成績を下げ(GLM-5.3が60.6%から55.7%、DeepSeek-V4.1-Flashが67.8%から66.4%)、判断の正誤や思考長など配備していない選好で学習した27実行を合計しても67.5%対67.8%で差がなかった(Welch p=0.83)。配備したテスト実行ドラフトは、無関係なドラフト群より4.3ポイント高い(p=0.018)。

速度はほぼ犠牲にしない

棄却率を判断点で上げると、受け入れ長が下がって速度が落ちるはずだ。実測では、ブロックあたりの期待受け入れトークン数はGLM-5.3で学習前後とも2.28、DeepSeek-V4.1-Flashでは2.5対2.46と1.8%の差だった。ドラフトの各スロットのtop-1一致率の変化はGLM-5.3で−0.4〜+0.2ポイント、DeepSeek-V4.1-Flashで−1.2〜−0.4ポイントと、受け入れ曲線の形は保たれた。

「言い換えれば、大幅に改善された推論能力と引き換えに、デコード速度の最大2%を支払った。」

In other words, we traded up to 2% decoding speed for significantly improved reasoning capability.

論文Sec.5.3、arXiv:2611.05345

論文に公開コードの記載はなく、学習データの公開予定も書かれていない。改善の大きさは著者の測定条件(2つの750B級モデル、2つのベンチマーク、SGLang上の特定のドラフト構成)に限られ、第三者再現は今回の確認時点で見つかっていない。推測デコード全般が精度を悪化させるとの一般化は、この論文自身の主張からも導けない。判断点の特定がコミット文の抽出に依存するため、コーディング以外の長期タスクへの転用も未検証だ。

出典

  1. Adversarial Speculative Reasoning Improves Long Horizon Agents(arXiv:2611.05345、PDF全文)提出 2026-11-03(v1)。著者8名と所属、要旨、Sec.1のノイズ観測(スロットごと約4%増、2ナット偏差が最終スロットで約2倍)、Sec.4の判断点・フォーク対・学習設定、Sec.5.1の選好精度、Sec.5.2のFigure 5と切り分け分析、Sec.5.3の受け入れ長。確認日 2026-11-12
  2. RadixArk/GLM-5.3-NVFP4(Hugging Face)論文が評価に使うGLM-5.3-nvfp4の公開重み。作成 2026-08-28、safetensors合計380,989,135,104パラメータ(Hugging Face API実測)。論文Sec.4脚注のURLと一致。確認日 2026-11-12

出典の確認日 2026.11.12

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む