NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

Verify by Doing、実行と検証のハーネスを1つのタスク内で共進化させる手法を公開──重みを固定したままAutomationBenchで22.3%→37.0%

Ant Internationalと浙江大学のYitong Lin氏ら8名は2026年11月11日、エージェントの実行手順(Actor)と検証手順(Evaluator)を1つのタスク内で同時に改善する手法「Verify by Doing(VbD)」をarXivに公開した。モデルの重みは固定したまま、Evaluatorがツールで成果物と環境の状態を検査し、その所見から改善案を作って新旧を比較して採用する。外部の正解(ベンチマークスコアや参照ラベル)を進化に使わない条件下で、DeepSeek-V4-Flash-0731を固定して3ラウンド×各2実行×3回の平均で、AutomationBench 600件の合格率はベース22.3%から37.0%に上がり、最強の比較手法を3.3ポイント上回った。τ³ Banking 97件では35.1%→49.5%、GDPval 133件のルーブリック品質は70.8%→82.4%。査読前で、コードの公開は確認できていない。

VbDは「自己改善にはタスクの成否を知るフィードバックが必要だが、実行時点では外部の正解がない」ことに対応する方法だ。ActorとEvaluatorという2つの役割のハーネス(指示・手順・道具の束)をタスク内で共に進め、Evaluatorは成果物と環境の状態をツールで能動的に検査する。検査の所見は出力選択の内部シグナルになり、実行手順と検証手順の両方の更新を導く。提案されたEvaluatorは共通の候補集合での比較審査を通し、Actorの更新は自分の新しい出力による裏付けを要求する。外部正解(ベンチマークスコア・参照ラベル)は進化に使わず、オフラインの採点にだけ使う。

図解VbDの1ラウンド
  1. 01 Actor

    実行を2回

    現在のActorハーネスでタスクを実行する(3ラウンド各2実行)

  2. 02 Evaluator

    ツールで検査

    成果物・アプリの状態・ファイル内容を実際に確認し、所見を記録する

  3. 03 比較

    新旧Evaluator案

    共通の候補集合で比較審査し、確認済みの改善だけをEvaluatorに採用する

  4. 04 選択

    出力を選ぶ

    進化したEvaluatorの所見から、このタスクの成果物を選定する

  5. 05 Actor更新

    新規試行の証拠

    改訂版Actorが自分の新しい出力で良い結果を出したときだけ改訂を採用する

arXiv:2611.15276v1の要約と第4章(2026-11-16確認)。ハーネスはタスク間でリセットされる。実験は3ラウンド×各2実行×3回の平均±標準偏差。

3つのタスク集合での結果

実験は重みを固定したDeepSeek-V4-Flash-0731で全ての役割を実行する。AutomationBenchは6ドメイン×100件の600件で、アプリの保存状態が合格条件になる。τ³ Bankingは97件で対話と操作がポリシーに適合するかを見る。GDPvalは専門職の成果物を公式ルーブリックで採点するもので、論文はテキストと文書のツールで処理できる133件(公開ゴールド220件の部分集合、9部門41職種)を選んだ。結果は3回の実行平均で、ベースの1回実行はAutomationBench 22.3±1.6%、BoN(6候補からVbDの初期Evaluatorで選択)は31.2±2.1%、VbDは37.0±1.9%だった。比較手法の最強(RQGM 33.7±2.2%)を3.3ポイント上回る。τ³ Bankingは35.1±3.1%から49.5±2.1%(Δ14.4)で、最強のRHI(45.4±2.1%)を4.1ポイント上回る。GDPvalのルーブリック品質は70.8±1.7%から82.4±1.4%で、RQGMの80.1±1.7%を2.3ポイント上回った。

図解主要ベンチマークの結果(%、3回平均)
  • AutomationBench合格率

    ベース
    22.3
    BoN
    31.2
    最強対抗
    33.7
    VbD
    37.0
  • τ³ Banking合格率

    ベース
    35.1
    BoN
    40.5
    最強対抗
    45.4
    VbD
    49.5
  • GDPvalルーブリック

    ベース
    70.8
    BoN
    76.8
    最強対抗
    80.1
    VbD
    82.4

arXiv:2611.15276v1 表1・2・3(DeepSeek-V4-Flash-0731固定、3回平均±標準偏差)。最強対抗はAutomationBenchとGDPvalがRQGM、BankingがRHI。外部正解を使う参照(42.6/56.4/83.6)は順位外で、VbDは届いていない。

検証の進化が効く

アブレーションでは、能動的な検査を外すとAutomationBenchの平均が2.7ポイント下がり、Evaluatorの進化を止めると1.6ポイント下がる。固定した候補集合から選ばせた比較では、進化したEvaluatorの選択が31.2%に対して35.8%と、新しい出力を作らなくても検証の改善だけで取り戻せる候補があることを示す。別のバックボーン(Qwen3.8-Flash-Next)でも傾向は保たれ、AutomationBench 48.4%、Banking 57.4%、GDPval 84.7%といずれも外部正解なしの比較手法の中で最高だった。進化の様子は第1ラウンド30.0%→第2ラウンド34.3%→第3ラウンド37.0%と進む。

限界として、外部フィードバックなしは「実行中に正解ラベルを使わない」意味で、ツールによる観測や事後の採点(オフライン採点はGPT-5.6-sol)は使う。ハーネスはタスクごとにリセットされ、蓄積はしない。オフライン採点のGDPvalルーブリック品質は公式の専門家対戦勝率とは別の尺度だ。コードの公開は2026年11月16日時点で確認できず、実運用での成功を保証するものではない。

出典

  1. arXiv:2611.15276「Verify by Doing: Co-Evolving Agent Execution and Evaluation without External Feedback」(2026-11-11投稿)タイトル・要旨・著者8名(Yitong Lin、Jianda Chen、Yihao Hu、Pan Wang、Hang Wang、Zhihao Wen、Xiaoxue Ren、Wei Wu)・所属(1 Ant International、2 Zhejiang University)を2026-11-16に全文確認
  2. arXiv HTML版(2611.15276v1全文)方法(能動検査・比較採用・Actor採用の分離・ハーネス共進化)と全数値: AutomationBench 600件(22.3±1.6→37.0±1.9、BoN 31.2±2.1、RQGM 33.7±2.2、外部正解参照42.6±0.9)、τ³ Banking 97件(35.1±3.1→49.5±2.1、RHI 45.4±2.1)、GDPval 133件(70.8±1.7→82.4±1.4、RQGM 80.1±1.7、ルーブリックは公式対戦と別尺度)、DeepSeek-V4-Flash-0731固定・GPT-5.6-solでオフライン採点・3ラウンド×2実行×3回・アブレーション(−2.7/−1.6pt)・Evaluator選択35.8%対BoN 31.2%・Qwen3.8-Flash-Next(48.4/57.4/84.7)を2026-11-16に確認

出典の確認日 2026.11.16

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む