NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

EvoMapのEvoX、エージェントハーネスを実行ポリシーとして設計──691タスク・モデル組で成功率56.2%と6ハーネス最高、GLM-5.3では+10.7ポイント

EvoMap(evomap.ai)のInfinite Evolution Labに属するHaoyang Zhang氏ら6名は2026年11月11日、LLMエージェントのハーネスを実行時ポリシーとして設計するRust製ランタイムEvoXをarXivに公開した。モデルの意味的な判断とハーネス側の実行制御を分ける「The Second Policy」という設計原理を提示し、動作の具体化、実行の継続、結果の根付けを統合する。5つのベンチマーク、6つの基盤モデル、6つのハーネスが共通して有効な採点を持つ691タスク・モデル組での成功率は56.2%で6ハーネス最高、他の5ハーネスの平均より約3.0ポイント高かった。モデル別ではGLM-5.3で+10.7ポイント、Kimi K3で+7.9ポイント。評価はメモリ、進化、拡張なしの構成で、数値は著者の測定値。

モデルが提示する行動がもっともらしくても、ツール引数の不整合、実行の中断、根拠のない完了報告でタスクは失敗する。論文はこれらを実行時の例外として個別に扱うのではなく、ハーネスの役割を、モデルの「セマンティックポリシー」を補う「オペレーショナルポリシー(The Second Policy)」として明示する提案だ。個別の再試行や引数の検証自体は既存の技術で、新しいのは3つの責任を1つの設計原理に統合し、ランタイムとして実装した点にある。

図解The Second Policyの3つの責任
  1. 01 動作の具体化

    Action Realization

    モデルが提案した行動を実行できる形に解釈し、整える

  2. 02 実行の継続

    Execution Continuity

    中断や失敗のあとも、作業を続きから再開できるように保つ

  3. 03 結果の根付け

    Outcome Grounding

    完了報告が証拠に基づくかを確認し、根拠のない報告を防ぐ

arXiv:2611.15006v1の第1〜2章(2026-11-17確認)。

691タスク・モデル組での比較

比較は5つのベンチマーク(多言語プログラミング、Web併用の推論、アルゴリズム問題の解決、リポジトリ単位のソフトウェア修復、端末でのエンジニアリング)、6つの基盤モデル、6つのハーネスで、管理された条件(Contrast)の下で行う。6ハーネスすべてが有効な採点を持つ691タスク・モデル組では、EvoXが56.2%で最高。次いでPi 55.9%、Claude Code 55.3%、Hermes 54.4%と続き、他の5ハーネスの平均に対する優位は約3.0ポイントだった。モデル別には、GLM-5.3で+10.7ポイント、Kimi K3で+7.9ポイントの差がつき、ハーネス設計の効果がモデルに依存することを論文は指摘する。この評価にメモリ、進化、拡張は使っていない。

図解6ハーネスの成功率(691共通タスク・モデル組、%)
  • EvoX

    成功率
    56.2
  • Pi

    成功率
    55.9
  • Claude Code

    成功率
    55.3
  • Hermes

    成功率
    54.4

arXiv:2611.15006v1の本文とFigure 3(2026-11-17確認)。本文が明示する上位4ハーネスの数値。残り2ハーネスはこれより低い。他5ハーネスの平均に対するEvoXの優位は約3.0ポイント、モデル別ではGLM-5.3で+10.7ポイント、Kimi K3で+7.9ポイント。

「メモリ、進化、拡張なしで達成されたこれらの結果は、EvoXを競争力のあるマルチモデルエージェントランタイムとして位置づけ、基盤モデルの能力を実現するうえでのハーネスレベルの実行制御の重要性を示す。」

Achieved without memory, evolution, or extensions, these results establish EvoX as a competitive multi-model agent runtime and underscore the importance of harness-level operational control in realizing foundation-model capabilities.

arXiv:2611.15006v1要約(2026-11-11、2026-11-17確認)

読むときの留保として、これは査読前のプレプリントで、コードの公開と第三者による再現は今後の確認事項だ。約3.0ポイントの優位は他の5ハーネスの平均との差であって、すべての競合への優位を意味しない。691組という共通集合の選び方、モデル提供側の実行条件の違いも結果に影響しうる。レイテンシ、費用、長時間運用での評価は論文の範囲に含まれず、Swarm構成での効果も測られていない。

出典

  1. EvoX: Rethinking the Agent Harness as a Runtime Policy(arXiv:2611.15006v1)一次資料(2026-11-11投稿)。著者6名と所属(Infinite Evolution Lab, EvoMap)、691組の成功率56.2%と上位ハーネスの数値、GLM-5.3で+10.7ポイント、Kimi K3で+7.9ポイント、メモリ・進化・拡張なしの明記
  2. arXiv:2611.15006v1 HTML全文The Second Policyの3責任(Action Realization、Execution Continuity、Outcome Grounding)、比較条件Contrast、5ベンチマーク×6モデル×6ハーネスの評価設定の確認

出典の確認日 2026.11.17

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む