VbDは「自己改善にはタスクの成否を知るフィードバックが必要だが、実行時点では外部の正解がない」ことに対応する方法だ。ActorとEvaluatorという2つの役割のハーネス(指示・手順・道具の束)をタスク内で共に進め、Evaluatorは成果物と環境の状態をツールで能動的に検査する。検査の所見は出力選択の内部シグナルになり、実行手順と検証手順の両方の更新を導く。提案されたEvaluatorは共通の候補集合での比較審査を通し、Actorの更新は自分の新しい出力による裏付けを要求する。外部正解(ベンチマークスコア・参照ラベル)は進化に使わず、オフラインの採点にだけ使う。
- 01 Actor
実行を2回
現在のActorハーネスでタスクを実行する(3ラウンド各2実行)
- 02 Evaluator
ツールで検査
成果物・アプリの状態・ファイル内容を実際に確認し、所見を記録する
- 03 比較
新旧Evaluator案
共通の候補集合で比較審査し、確認済みの改善だけをEvaluatorに採用する
- 04 選択
出力を選ぶ
進化したEvaluatorの所見から、このタスクの成果物を選定する
- 05 Actor更新
新規試行の証拠
改訂版Actorが自分の新しい出力で良い結果を出したときだけ改訂を採用する
arXiv:2611.15276v1の要約と第4章(2026-11-16確認)。ハーネスはタスク間でリセットされる。実験は3ラウンド×各2実行×3回の平均±標準偏差。
3つのタスク集合での結果
実験は重みを固定したDeepSeek-V4-Flash-0731で全ての役割を実行する。AutomationBenchは6ドメイン×100件の600件で、アプリの保存状態が合格条件になる。τ³ Bankingは97件で対話と操作がポリシーに適合するかを見る。GDPvalは専門職の成果物を公式ルーブリックで採点するもので、論文はテキストと文書のツールで処理できる133件(公開ゴールド220件の部分集合、9部門41職種)を選んだ。結果は3回の実行平均で、ベースの1回実行はAutomationBench 22.3±1.6%、BoN(6候補からVbDの初期Evaluatorで選択)は31.2±2.1%、VbDは37.0±1.9%だった。比較手法の最強(RQGM 33.7±2.2%)を3.3ポイント上回る。τ³ Bankingは35.1±3.1%から49.5±2.1%(Δ14.4)で、最強のRHI(45.4±2.1%)を4.1ポイント上回る。GDPvalのルーブリック品質は70.8±1.7%から82.4±1.4%で、RQGMの80.1±1.7%を2.3ポイント上回った。
AutomationBench合格率
- ベース
- 22.3
- BoN
- 31.2
- 最強対抗
- 33.7
- VbD
- 37.0
τ³ Banking合格率
- ベース
- 35.1
- BoN
- 40.5
- 最強対抗
- 45.4
- VbD
- 49.5
GDPvalルーブリック
- ベース
- 70.8
- BoN
- 76.8
- 最強対抗
- 80.1
- VbD
- 82.4
arXiv:2611.15276v1 表1・2・3(DeepSeek-V4-Flash-0731固定、3回平均±標準偏差)。最強対抗はAutomationBenchとGDPvalがRQGM、BankingがRHI。外部正解を使う参照(42.6/56.4/83.6)は順位外で、VbDは届いていない。
検証の進化が効く
アブレーションでは、能動的な検査を外すとAutomationBenchの平均が2.7ポイント下がり、Evaluatorの進化を止めると1.6ポイント下がる。固定した候補集合から選ばせた比較では、進化したEvaluatorの選択が31.2%に対して35.8%と、新しい出力を作らなくても検証の改善だけで取り戻せる候補があることを示す。別のバックボーン(Qwen3.8-Flash-Next)でも傾向は保たれ、AutomationBench 48.4%、Banking 57.4%、GDPval 84.7%といずれも外部正解なしの比較手法の中で最高だった。進化の様子は第1ラウンド30.0%→第2ラウンド34.3%→第3ラウンド37.0%と進む。
限界として、外部フィードバックなしは「実行中に正解ラベルを使わない」意味で、ツールによる観測や事後の採点(オフライン採点はGPT-5.6-sol)は使う。ハーネスはタスクごとにリセットされ、蓄積はしない。オフライン採点のGDPvalルーブリック品質は公式の専門家対戦勝率とは別の尺度だ。コードの公開は2026年11月16日時点で確認できず、実運用での成功を保証するものではない。
出典
- arXiv:2611.15276「Verify by Doing: Co-Evolving Agent Execution and Evaluation without External Feedback」(2026-11-11投稿)タイトル・要旨・著者8名(Yitong Lin、Jianda Chen、Yihao Hu、Pan Wang、Hang Wang、Zhihao Wen、Xiaoxue Ren、Wei Wu)・所属(1 Ant International、2 Zhejiang University)を2026-11-16に全文確認
- arXiv HTML版(2611.15276v1全文)方法(能動検査・比較採用・Actor採用の分離・ハーネス共進化)と全数値: AutomationBench 600件(22.3±1.6→37.0±1.9、BoN 31.2±2.1、RQGM 33.7±2.2、外部正解参照42.6±0.9)、τ³ Banking 97件(35.1±3.1→49.5±2.1、RHI 45.4±2.1)、GDPval 133件(70.8±1.7→82.4±1.4、RQGM 80.1±1.7、ルーブリックは公式対戦と別尺度)、DeepSeek-V4-Flash-0731固定・GPT-5.6-solでオフライン採点・3ラウンド×2実行×3回・アブレーション(−2.7/−1.6pt)・Evaluator選択35.8%対BoN 31.2%・Qwen3.8-Flash-Next(48.4/57.4/84.7)を2026-11-16に確認
出典の確認日 2026.11.16