NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

TokenWave AI、コーディングAIを「社員」として評価するベンチマーク「SWE-CoWork」を公開──テスト合格は約63%でも課題完了は8%未満(著者報告)

米パロアルトのTokenWave AIは2026年11月15日、コーディングエージェントを組織の開発担当者として評価するベンチマーク「SWE-CoWork」を公開した(arXiv:2611.20218)。101件の開発課題を11言語・12分野の実リポジトリから作り、各課題で役割と知識が限定された26人の模擬同僚と職場記録から要求を回復させて実装・検証させる。11モデルの評価で、上位のClaude-Opus-5.5とGPT-6 AstraはFail-to-Pass(F2P)テストの63.84%と62.91%に合格した一方、課題を最後まで完了できたのは6.93%と7.92%だった。数値はすべて著者の実験報告で、第三者による独立再現は確認できていない。

ベンチマークは、仕様書を渡されてコードを書く場面とは別の能力を測る。各課題では、短い引き継ぎメモから始めて、複数の模擬同僚と職場の記録に分散した要求を発見し、矛盾する情報を解消し、実装した変更を非公開の実行テストで検証するまでが採点対象になる。101課題の中央値では60ファイルに2,955行の本番コードを変更し、32の検証テストノードで判定する。模擬同僚は実際の社員ではなく、責任範囲と知識範囲、協業の振る舞いが設計された架空の人物で、実装は非公開の実行テスト(private executable F2P/P2P tests)で評価される。

「組織の中で働くコーディングエージェントは、何を作るべきかを確定し、同僚と協力し、自分の成果を検証しなければならない。」

A coding agent working within a software organization must establish what to build, collaborate with colleagues, and verify what it delivers.

arXiv:2611.20218「SWE-CoWork: Benchmarking Coding Agents as Digital Employees in Organizations」のabstract(2026-11-15投稿、2026-11-18確認)
図解SWE-CoWorkの1課題の進行
  1. 01 引き継ぎメモ

    開始点

    短いオンボーディング文書だけを持って課題を引き受ける

  2. 02 要求の回復

    26人の模擬同僚

    役割と知識が限定された同僚と職場記録から、分散した要求を発見する

  3. 03 矛盾の解消

    情報の突合

    同僚間や記録間で食い違う情報を突き合わせて整理する

  4. 04 実装

    2,955行(中央値)

    中央値で60ファイルに2,955行の本番コードを変更する

  5. 05 非公開テスト

    32ノードで検証

    実装者が見えない実行テストでF2P/P2Pを判定する

  6. 06 報告

    引き継ぎ文書

    完了した要求と残作業を最終文書にまとめる

arXiv:2611.20218のabstractと本文(2026-11-18確認)から作成。テストノード数と変更行数は101課題の中央値。

要求を渡しても、完了は増えない

11モデルの評価で、Claude-Opus-5.5はF2Pテストノードの63.84%に合格し、GPT-6 Astraは62.91%に合格した。課題単位の完全成功はそれぞれ6.93%と7.92%で、残り9モデルは最大でもF2P 39.09%、完全成功0.99%にとどまる。テスト単位の合格率と課題単位の完了率は分母が異なり、単純に比べられる数値ではない。

論文は、すべての要求を最初に渡す「Oracle-Spec」という対照条件も用意した。Seed EvolvingのF2Pは39.09%から55.76%へ、GPT-6 Astraは62.91%から78.84%へ上がった。ただし課題の完全成功率は両モデルとも変化せず(0.99%と7.92%)、要求がそろっても実装・検証まで通す力は同じままだった。

図解F2P合格率の変化(著者報告、2026-11-18確認)
  • 通常評価

    Seed Evolving
    39.09%
    GPT-6 Astra
    62.91%
  • 全要求を事前提供

    Seed Evolving
    55.76%
    GPT-6 Astra
    78.84%
  • 課題完全成功率(通常)

    Seed Evolving
    0.99%
    GPT-6 Astra
    7.92%
  • 課題完全成功率(事前提供後)

    Seed Evolving
    0.99%
    GPT-6 Astra
    7.92%

arXiv:2611.20218本文のTable 3の記載(2026-11-18確認)。Oracle-Spec条件はSeed EvolvingとGPT-6 Astraで実施。上位2モデルの通常評価のF2Pは63.84%(Claude-Opus-5.5)と62.91%(GPT-6 Astra)。

失敗は「質問する」より「追跡する」で起きる

要求レベルの軌跡分析では、Claude-Opus-5.5は確認したい事項について最初の質問の平均93%を責任者に向けていた。接触できていない責任者の持つ要件は3%しか残らない。それでも同僚が持つ要件の64%しか取得できず、取得後も要件に関連するカードを再び持ち出さない、延期した質問を追跡しないといった失敗が続く。最終報告で「完了」と申告された826件の要件のうち255件(31%)は、リンクされたテストに不合格だった。エージェントの弱点は要求を知る段階より、実装・検証・引き継ぎまで要件を追い続ける段階に広がっているというのが著者の分析である。

図解完了と申告した要件のテスト結果(著者報告)

最終報告で完了と申告826件

  • リンクされたテストに合格

    571件

    実装と検証が要件どおりに通った

  • リンクされたテストに不合格

    255件(31%)

    申告とテスト結果が食い違った

arXiv:2611.20218本文Section 6.4の記載(826件中255件、Figure 8a、2026-11-18確認)。合格571件は826件から255件を引いた値で、論文の表記は31%(不合格)の側。

公開物と読むときの留保

論文の表紙メタデータには、プロジェクトページ、コード(GitHub TokenWave-AI/swe-cowork-bench)、データセット(Hugging Face Tokenwave-AI/swe-cowork)が示され、いずれも2026年11月18日時点でアクセスできる。リポジトリは2026年10月19日に作成され、11月18日時点でも更新が続いている。表紙にはライセンス「CC BY-NC-SA 4.0」の記載があるが、GitHubのAPIはリポジトリのライセンスを検出しておらず、Hugging Faceのデータセットにも「license: other」というタグしかない。利用条件は各公開物の表記を個別に確認して判断する必要がある。

読むときの留保として、26人の同僚は模擬人物で実社員ではない。約63%はテスト単位、8%未満は課題単位で、分母が異なる。公表された数値はすべて著者の実験報告で、リーダーボードの第三者検証や独立再現は確認できていない。ベンチマークの成績は特定のモデル製品の実務での生産性を保証するものではない。

出典

  1. arXiv:2611.20218「SWE-CoWork: Benchmarking Coding Agents as Digital Employees in Organizations」(2026-11-15投稿)101課題・26同僚・11モデルの評価設計、上位2モデルの数値、Oracle-Spec条件、31%の不合格申告、公開物リンクと表紙のライセンス表記
  2. プロジェクトページ(TokenWave AI)101実リポジトリ・11言語・12分野・26模擬同僚の再掲とリーダーボードへの導線
  3. GitHub TokenWave-AI/swe-cowork-benchコード公開物の存在確認。作成2026-10-19、最終push 2026-11-18、GitHub APIのライセンス検出なし
  4. Hugging Faceデータセット Tokenwave-AI/swe-coworkデータセット公開物の存在確認。最終更新2026-11-17、タグはlicense: other

出典の確認日 2026.11.18

KEEP EXPLORING

あわせて読みたい記事と映像

AIと社会の記事一覧
  1. Bitdefender、AIコーディング環境を狙う悪性GitHubコンテンツを分析──AGENTS.mdでの誘導と起動フックの2経路、悪性リンク22件

    セキュリティ企業Bitdefenderの研究部門Bitdefender Labsは2026年11月17日、AIコーディング支援ツールの利用環境を狙う悪性GitHubコンテンツの分析を公開した。研究者Andrei Anton-Aanei氏らが確認した悪性リンクは22件で、AGENTS.mdやCLAUDE.mdの文章でAIにsetup.jsの実行を誘導する経路に加え、.claude/settings.jsonのセッション開始フックでAIの判断を介さずコマンドを実行できる経路が報告されている。22件はリンクの数で、感染者数を示すものではない。

    記事を読む
  2. POSTECH、LLMが勾配学習なしでモデルの重みを直接書く「Weight-Space Programming」──3つのLLMが疎なテーブルを設計、ARCで最大54.4%

    POSTECH(韓国の浦項工科大学)のHyunjong Ok氏とJaeho Lee氏は2026年11月17日、勾配ベースの学習を使わず、大規模言語モデル(LLM)にモデルの重みを直接記述させる「Weight-Space Programming」の研究をarXivに公開した(arXiv:2611.22055)。Claude Opus 5.5、GPT-6.1 Sol、GPT-6 Astraの3モデルに10件のラベル付き例とサンドボックスを与えて実験したところ、アーキテクチャの設計を任せた3モデルすべてが、テキストで書いた事実を置く疎なテーブルと、それを読む固定の手続きでモデルを構成した。ARCの選択式テスト3,530問での精度は最大54.4%(偶然は25%)で、著者報告では、同じLLMが記述した最良の公開Transformerを約1,800分の1のパラメータで上回った。実験で作った56モデル(テキストファイル計68MB)をMITライセンスで公開しているが、測定・分析コードの大半は含まれていない。

    記事を読む
  3. Google GTIG、実際の侵入でAIエージェント基盤の悪用を観測──脆弱性調査と悪用の完全自動化を初確認、LLMJackingの被害は単日10万ドル超

    GoogleのGoogle Threat Intelligence Group(GTIG)とMandiantは2026年11月16日、四半期ごとの脅威観測レポート「GTIG AI Threat Tracker: Agentic Threat Activity Crosses a Significant Threshold」を公開した。複数の脅威アクターがオープンソースのマルチエージェント型ペネトレーション基盤(ARTEX、CAIRN、CyberStrikeAI、PentAGI)を悪用し、実際の侵入の個別の工程を自動化した事例を観測した。脆弱性の発見と悪用を人間の介入なしに完全自動化するLLM基盤の使用は、この四半期に初めて確認したという。LLM認証情報の窃取でクラウド資源を消費するLLMJackingでは、単日の不正請求が10万ドルを超えた事例があり、最も深刻な事例では累計100万ドルに達した。観測範囲は限られ、数値はGoogleの報告値。

    記事を読む