改善案の評価が探索を遅らせる
自己改善エージェントは自分のコードを変更し、その変更が能力を上げたかを調べる。従来の手法では候補ごとに複数の課題を解かせるため、評価の実行時間と計算費用が大きな負担になる。
SIFTは修正候補をLLMに2つずつ比較させ、勝敗を統計モデルで集計する。その順位を使って探索の親候補を選び、実際の課題を解く評価は見込みのある候補に集中させる。
実験結果の範囲
著者らはPolyglotベンチマークで、既存の木探索型の自己改善手法より少ないCPU時間、実行時間、API費用で良い結果が得られたと報告する。これは論文の実験設定における比較だ。
候補を比べるLLMの評価も、実タスクの評価も同じ役割ではない。論文は実タスク評価を残している。研究結果から、あらゆる開発作業が自律的に改善されるとは判断できない。
出典
- Self Improvement via Fast Tree-searcharXiv:2609.19526、2026-09-17提出。候補比較、Bradley–Terry集計、実タスク評価、Polyglot実験を確認。2026-10-06確認。
出典の確認日 2026.10.06