モデルが提示する行動がもっともらしくても、ツール引数の不整合、実行の中断、根拠のない完了報告でタスクは失敗する。論文はこれらを実行時の例外として個別に扱うのではなく、ハーネスの役割を、モデルの「セマンティックポリシー」を補う「オペレーショナルポリシー(The Second Policy)」として明示する提案だ。個別の再試行や引数の検証自体は既存の技術で、新しいのは3つの責任を1つの設計原理に統合し、ランタイムとして実装した点にある。
- 01 動作の具体化
Action Realization
モデルが提案した行動を実行できる形に解釈し、整える
- 02 実行の継続
Execution Continuity
中断や失敗のあとも、作業を続きから再開できるように保つ
- 03 結果の根付け
Outcome Grounding
完了報告が証拠に基づくかを確認し、根拠のない報告を防ぐ
arXiv:2611.15006v1の第1〜2章(2026-11-17確認)。
691タスク・モデル組での比較
比較は5つのベンチマーク(多言語プログラミング、Web併用の推論、アルゴリズム問題の解決、リポジトリ単位のソフトウェア修復、端末でのエンジニアリング)、6つの基盤モデル、6つのハーネスで、管理された条件(Contrast)の下で行う。6ハーネスすべてが有効な採点を持つ691タスク・モデル組では、EvoXが56.2%で最高。次いでPi 55.9%、Claude Code 55.3%、Hermes 54.4%と続き、他の5ハーネスの平均に対する優位は約3.0ポイントだった。モデル別には、GLM-5.3で+10.7ポイント、Kimi K3で+7.9ポイントの差がつき、ハーネス設計の効果がモデルに依存することを論文は指摘する。この評価にメモリ、進化、拡張は使っていない。
EvoX
- 成功率
- 56.2
Pi
- 成功率
- 55.9
Claude Code
- 成功率
- 55.3
Hermes
- 成功率
- 54.4
arXiv:2611.15006v1の本文とFigure 3(2026-11-17確認)。本文が明示する上位4ハーネスの数値。残り2ハーネスはこれより低い。他5ハーネスの平均に対するEvoXの優位は約3.0ポイント、モデル別ではGLM-5.3で+10.7ポイント、Kimi K3で+7.9ポイント。
「メモリ、進化、拡張なしで達成されたこれらの結果は、EvoXを競争力のあるマルチモデルエージェントランタイムとして位置づけ、基盤モデルの能力を実現するうえでのハーネスレベルの実行制御の重要性を示す。」
Achieved without memory, evolution, or extensions, these results establish EvoX as a competitive multi-model agent runtime and underscore the importance of harness-level operational control in realizing foundation-model capabilities.
読むときの留保として、これは査読前のプレプリントで、コードの公開と第三者による再現は今後の確認事項だ。約3.0ポイントの優位は他の5ハーネスの平均との差であって、すべての競合への優位を意味しない。691組という共通集合の選び方、モデル提供側の実行条件の違いも結果に影響しうる。レイテンシ、費用、長時間運用での評価は論文の範囲に含まれず、Swarm構成での効果も測られていない。
出典
- EvoX: Rethinking the Agent Harness as a Runtime Policy(arXiv:2611.15006v1)一次資料(2026-11-11投稿)。著者6名と所属(Infinite Evolution Lab, EvoMap)、691組の成功率56.2%と上位ハーネスの数値、GLM-5.3で+10.7ポイント、Kimi K3で+7.9ポイント、メモリ・進化・拡張なしの明記
- arXiv:2611.15006v1 HTML全文The Second Policyの3責任(Action Realization、Execution Continuity、Outcome Grounding)、比較条件Contrast、5ベンチマーク×6モデル×6ハーネスの評価設定の確認
出典の確認日 2026.11.17