ベンチマークは、仕様書を渡されてコードを書く場面とは別の能力を測る。各課題では、短い引き継ぎメモから始めて、複数の模擬同僚と職場の記録に分散した要求を発見し、矛盾する情報を解消し、実装した変更を非公開の実行テストで検証するまでが採点対象になる。101課題の中央値では60ファイルに2,955行の本番コードを変更し、32の検証テストノードで判定する。模擬同僚は実際の社員ではなく、責任範囲と知識範囲、協業の振る舞いが設計された架空の人物で、実装は非公開の実行テスト(private executable F2P/P2P tests)で評価される。
「組織の中で働くコーディングエージェントは、何を作るべきかを確定し、同僚と協力し、自分の成果を検証しなければならない。」
A coding agent working within a software organization must establish what to build, collaborate with colleagues, and verify what it delivers.
- 01 引き継ぎメモ
開始点
短いオンボーディング文書だけを持って課題を引き受ける
- 02 要求の回復
26人の模擬同僚
役割と知識が限定された同僚と職場記録から、分散した要求を発見する
- 03 矛盾の解消
情報の突合
同僚間や記録間で食い違う情報を突き合わせて整理する
- 04 実装
2,955行(中央値)
中央値で60ファイルに2,955行の本番コードを変更する
- 05 非公開テスト
32ノードで検証
実装者が見えない実行テストでF2P/P2Pを判定する
- 06 報告
引き継ぎ文書
完了した要求と残作業を最終文書にまとめる
arXiv:2611.20218のabstractと本文(2026-11-18確認)から作成。テストノード数と変更行数は101課題の中央値。
要求を渡しても、完了は増えない
11モデルの評価で、Claude-Opus-5.5はF2Pテストノードの63.84%に合格し、GPT-6 Astraは62.91%に合格した。課題単位の完全成功はそれぞれ6.93%と7.92%で、残り9モデルは最大でもF2P 39.09%、完全成功0.99%にとどまる。テスト単位の合格率と課題単位の完了率は分母が異なり、単純に比べられる数値ではない。
論文は、すべての要求を最初に渡す「Oracle-Spec」という対照条件も用意した。Seed EvolvingのF2Pは39.09%から55.76%へ、GPT-6 Astraは62.91%から78.84%へ上がった。ただし課題の完全成功率は両モデルとも変化せず(0.99%と7.92%)、要求がそろっても実装・検証まで通す力は同じままだった。
通常評価
- Seed Evolving
- 39.09%
- GPT-6 Astra
- 62.91%
全要求を事前提供
- Seed Evolving
- 55.76%
- GPT-6 Astra
- 78.84%
課題完全成功率(通常)
- Seed Evolving
- 0.99%
- GPT-6 Astra
- 7.92%
課題完全成功率(事前提供後)
- Seed Evolving
- 0.99%
- GPT-6 Astra
- 7.92%
arXiv:2611.20218本文のTable 3の記載(2026-11-18確認)。Oracle-Spec条件はSeed EvolvingとGPT-6 Astraで実施。上位2モデルの通常評価のF2Pは63.84%(Claude-Opus-5.5)と62.91%(GPT-6 Astra)。
失敗は「質問する」より「追跡する」で起きる
要求レベルの軌跡分析では、Claude-Opus-5.5は確認したい事項について最初の質問の平均93%を責任者に向けていた。接触できていない責任者の持つ要件は3%しか残らない。それでも同僚が持つ要件の64%しか取得できず、取得後も要件に関連するカードを再び持ち出さない、延期した質問を追跡しないといった失敗が続く。最終報告で「完了」と申告された826件の要件のうち255件(31%)は、リンクされたテストに不合格だった。エージェントの弱点は要求を知る段階より、実装・検証・引き継ぎまで要件を追い続ける段階に広がっているというのが著者の分析である。
最終報告で完了と申告826件
- リンクされたテストに合格
571件
実装と検証が要件どおりに通った
- リンクされたテストに不合格
255件(31%)
申告とテスト結果が食い違った
arXiv:2611.20218本文Section 6.4の記載(826件中255件、Figure 8a、2026-11-18確認)。合格571件は826件から255件を引いた値で、論文の表記は31%(不合格)の側。
公開物と読むときの留保
論文の表紙メタデータには、プロジェクトページ、コード(GitHub TokenWave-AI/swe-cowork-bench)、データセット(Hugging Face Tokenwave-AI/swe-cowork)が示され、いずれも2026年11月18日時点でアクセスできる。リポジトリは2026年10月19日に作成され、11月18日時点でも更新が続いている。表紙にはライセンス「CC BY-NC-SA 4.0」の記載があるが、GitHubのAPIはリポジトリのライセンスを検出しておらず、Hugging Faceのデータセットにも「license: other」というタグしかない。利用条件は各公開物の表記を個別に確認して判断する必要がある。
読むときの留保として、26人の同僚は模擬人物で実社員ではない。約63%はテスト単位、8%未満は課題単位で、分母が異なる。公表された数値はすべて著者の実験報告で、リーダーボードの第三者検証や独立再現は確認できていない。ベンチマークの成績は特定のモデル製品の実務での生産性を保証するものではない。
出典
- arXiv:2611.20218「SWE-CoWork: Benchmarking Coding Agents as Digital Employees in Organizations」(2026-11-15投稿)101課題・26同僚・11モデルの評価設計、上位2モデルの数値、Oracle-Spec条件、31%の不合格申告、公開物リンクと表紙のライセンス表記
- プロジェクトページ(TokenWave AI)101実リポジトリ・11言語・12分野・26模擬同僚の再掲とリーダーボードへの導線
- GitHub TokenWave-AI/swe-cowork-benchコード公開物の存在確認。作成2026-10-19、最終push 2026-11-18、GitHub APIのライセンス検出なし
- Hugging Faceデータセット Tokenwave-AI/swe-coworkデータセット公開物の存在確認。最終更新2026-11-17、タグはlicense: other
出典の確認日 2026.11.18