AIコーディングエージェントの振る舞いは、モデル単体ではなく、エージェントが読む文脈と、行動を制御するハーネスの設定に左右される。開発者はリポジトリにコンテキストファイル、skills、hooks、MCP設定をコミットし、spec駆動開発のフレームワークやツールの計画機能が書いたspec、計画、タスクファイルもコミットする。これまでの研究データセットは、単一のファイル種類に偏っていたり、サンプルや収集時期が異なっていたりして、設定と実際の計画・コミットを同じプロジェクトで突き合わせにくかった。
「ほとんどのデータセットと異なり、AgentTorrentは設定アーティファクト、importされたファイル、エージェントの計画文書、AIツールにクレジットされたコミットを、同一リポジトリ内で結びつける。」
Unlike most datasets, AgentTorrent links configuration artifacts, imported files, agentic planning documents, and commits that credit an AI tool within the same repositories.
何を収集したか――10の設定機構、計画文書、クレジット付きコミット
収集対象の設定機構は10種類ある。コンテキストファイル(例: CLAUDE.mdやAGENTS.md)2万5,353件、skills 2万3,585件、rules 3,483件、settings 3,532件、subagents 2,713件、custom commands 1,436件、MCP設定885件、plugins 751件、hooks 619件、LSP設定17件で、合計6万2,374件になる。計画文書は417リポジトリで2万7,593件。コミットでは、6ツールにクレジットされたものが9,254リポジトリで128万1,628件、そのほか154のツールにクレジットされたものが7万2,527件だった。サンプリングはGitHub検索を起点に、10スター以上、OSI承認ライセンス、10言語という条件でforkとアーカイブを除外し、活動のフィルタを加えている。リポジトリがエンジニアリングプロジェクトかどうかの判定はオープンウェイトモデルで行い、人手検証を併用した。その結果、サンプル4万901件のうち1万944件に設定アーティファクトが検出された。
コンテキストファイル
- 内容
- CLAUDE.md、AGENTS.mdなど
- 件数
- 25,353
- リポジトリ数
- 10,026
skills
- 内容
- skillフォルダ
- 件数
- 23,585
- リポジトリ数
- 3,218
settings
- 内容
- 設定ファイル
- 件数
- 3,532
- リポジトリ数
- 2,246
rules
- 内容
- ルールファイル
- 件数
- 3,483
- リポジトリ数
- 680
subagents
- 内容
- サブエージェント定義
- 件数
- 2,713
- リポジトリ数
- 651
commands
- 内容
- カスタムコマンド
- 件数
- 1,436
- リポジトリ数
- 281
MCP
- 内容
- MCP設定
- 件数
- 885
- リポジトリ数
- 584
plugins
- 内容
- プラグインマニフェスト
- 件数
- 751
- リポジトリ数
- 291
hooks
- 内容
- フック設定
- 件数
- 619
- リポジトリ数
- 498
LSP
- 内容
- LSP設定
- 件数
- 17
- リポジトリ数
- 16
arXiv:2611.15436(2026-11-11公開v1)のTable II「CSV files in AgentTorrent」。10機構の合計が要旨の設定アーティファクト6万2,374件に一致する。共有ファイル(AGENTS.mdなど)は複数ツールから読めるためツール帰属は別の扱いで、設定のみのリポジトリが特定ツールに帰属できないケースは2,820件ある。
同一リポジトリで設定・計画・コミットをつなぐ
3種の記録がそろうリポジトリは388件だった。条件付きの値で、計画文書のある417リポジトリのうち93.0%にあたる388件が、6ツールのクレジット付きコミットも保持している。この連結により、たとえば「あるツールへの指示を追加したコミットがそのツールにクレジットされているか」や「指示ファイル同士がimportで参照・矛盾するか」を同じリポジトリ内で調べられる。実際、初期の指示ファイル以降をつなぐimportは176リポジトリで1,551件検出され、コンテキストファイルの23.8%、計画文書の36.1%はツールにクレジットされたコミットが導入していた。
- 01 サンプリング
GitHub検索で抽出
10スター以上、OSI承認ライセンス、10言語。fork・アーカイブ除外、活動フィルタ。枠は4万6,503リポジトリ。
- 02 プロジェクト分類
オープンウェイト模型+人手検証
エンジニアリングプロジェクトかを判定し、4万901件を抽出する。判定根拠も記録。
- 03 アーティファクト検出
10機構で6万2,374件
検出ヒューリスティックはベンダー文書やGitHubの実例に根拠を置き、精度・再現率を評価。
- 04 import解決
1万0,662件
設定アーティファクトが参照するファイルを同じリポジトリIDで連結する。
- 05 計画文書
2万7,593件
spec・計画・タスクなど、フレームワークやツールの計画機能が書いた文書。
- 06 クレジット付きコミット
128万1,628件
6ツールへのクレジットを作者・トレーラー・メッセージから検出。他ツール分は7万2,527件。
- 07 継続更新
四半期リリース予定
ベンダー文書の変更を自動監視し、未知のアーティファクトやツールを報告する。
arXiv:2611.15436(2026-11-11公開v1)のI Introduction・IV節、Table IIに基づく。四半期リリースは論文の計画の記述。検出と分類の一部にオープンウェイトモデルを使うため完全な独立性はなく、論文は精度と再現率の評価を併記している。
公開範囲と使う側の制限
データセットはバージョン1.0.0としてZenodoにアーカイブされ(2026年11月12日公開、DOI 10.5281/zenodo.24058026)、ライセンスはCC BY 4.0だ。収集パイプラインは別レコード(DOI 10.5281/zenodo.24058028)でMITライセンスのオープンソースとして公開されている。先行データセットAgentConfigs(2026年3月公開、5ツール、4,738リポジトリ、1万5,591件)の約4倍で、OpenCodeの追加、pluginsとLSPサーバーの新設、import解決、計画文書、他ツールのコミット記録が加わっている。研究側は制限も明記する。設定アーティファクトの存在はツールの使用を証明せず、コミットのクレジットは変更を書いたのが誰かを示さない。対象は選別された活発なOSSプロジェクトであり、GitHub全体の母集団として読んではならない。検出と分類の一部にLLMを使うため、検証は補完的なものだ。従量の解釈には、設定検出件数の母数(4万901件)と、ツール帰属できない共有設定のみの2,820リポジトリの存在を踏む必要がある。
「設定アーティファクトはツールが使われていることを示さず、コミットのクレジットは変更を書いたのが誰かを示さない。」
a configuration artifact does not show that a tool is used, and a credit in a commit does not show who wrote the change.
出典
- arXiv:2611.15436「AgentTorrent: A Dataset of Context and Harness Engineering Artifacts on GitHub」(要旨ページ)2026-11-11公開v1(arXiv APIでpublished 2026-11-11T13:10:26Zを確認)。著者8名(Sebastian Baltes、Seyedmoein Mohsenimofidi、Levi Böhme、Vahram Nersesyan、Muhammad Auwal Abubakar、Jai Lal Lulla、Matthias Galster、Christoph Treude)。要旨の数値(10,944プロジェクト、設定62,374件、計画文書27,593件、クレジット付きコミット120万超、共存388リポジトリ)、同一リポジトリでの連結、ヒューリスティックの根拠と精度評価、オープンウェイトモデルによる分類、Zenodoアーカイブ。コメント欄は「5 pages, 2 figures, 2 tables, under review」。2026-11-13に全文確認。
- arXiv:2611.15436 論文PDF(v1)所属(ハイデルベルク大学、バイロイト大学、バンベルク大学、シンガポール経営大学)、Table I(先行AgentConfigs: 2026年3月公開、5ツール、4,738リポジトリ、15,591件。サンプリング条件: GitHub検索、10+スター、OSIライセンス、10言語、fork/アーカイブ除外、活動フィルタ)、Table II(context_files 25,353/10,026、skills 23,585/3,218、settings 3,532/2,246、rules 3,483/680、subagents 2,713/651、commands 1,436/281、MCP 885/584、plugins 751/291、hooks 619/498、LSP 17/16、commits 1,281,628/9,254、other_commits 72,527、imports 10,662、planning-documents 27,593/417)、計画文書417件のうち388件(93.0%)、コンテキストファイル23.8%・計画文書36.1%がクレジット付きコミット導入、import 1,551件・176リポジトリ、共有設定のみで帰属不可の2,820リポジトリ、「We plan quarterly releases」。2026-11-13にpdftotextで全文確認。
- AgentTorrentプロジェクトサイト6ツール名(Claude Code、GitHub Copilot、OpenAI Codex、Cursor、Gemini〔Antigravityを含む〕、OpenCode)、サンプル40,901件のうち10,944件に設定アーティファクト、1,281,628コミットと154他ツールの72,527コミット、CC BY 4.0とMITの表記、バージョン1.0.0(旧2.0.0から改番)、「a configuration artifact does not show that a tool is used, and a credit in a commit does not show who wrote the change」。2026-11-13に全文確認。
- Zenodoデータセットレコード(DOI 10.5281/zenodo.24058026)データセット本体。license cc-by-4.0、version 1.0.0、publication_date 2026-11-12をZenodo APIで確認(2026-11-13)。
- Zenodoパイプラインレコード(DOI 10.5281/zenodo.24058028)収集パイプライン。license mit-license、version 1.0.0、publication_date 2026-11-12をZenodo APIで確認(2026-11-13)。
出典の確認日 2026.11.13