LLMエージェントの経験再利用では、過去の実行記録を要約して教訓(insight)として蓄え、新しい課題で参照する方式が広く使われている。ただし教訓は成功か失敗かの二値ラベルが付いた実行記録から推定されるため、誤った教訓が作られたり、正しい教訓が別の状況で誤用されたりする。論文はこれを「記憶由来の劣化(memory-induced degradation)」と呼び、記憶なしで解ける課題に記憶があると失敗する現象として問題設定した。既存方式は教訓だけを渡し、出典の実行記録を残さないため、エージェントに教訓を確かめる手段がない。
WikiTraceは記憶を、生の実行記録(raw trajectories)、実行の要約(compilation)、教訓(insight)、出典リンク(source link)の4要素で構成する。実行ごとに独立して処理し、各教訓は「何をすべきか」「いつ適用されるか」「どの実行から来たか」「その実行が成功したか」を明記して文書化する。教訓は書いた後には更新も削除もしない。推論時にはすべての教訓を最初のメッセージに入れ、教訓に判断に足る詳細がない場合、失敗した実行から来た場合、別の教訓と矛盾する場合、そして行動が失敗した場合に、元の実行記録まで降りて確認するようプロンプトが求める。記憶は読み取り専用のファイルとしてマウントされ、エージェントは端末のreadやbashで根拠になる記述を探す。
「記憶はエージェントに経験からの改善をもたらす一方で、記憶由来の劣化を招くこともある。記憶がなければ解けた課題に失敗するのだ。多くの場合、誤った教訓に従うか、正しい教訓を誤用・誤読するためだ。」
However, memory can also lead to memory-induced degradation, where an agent fails on tasks it would solve without memory, often because it follows a lesson that is incorrect, or misapplies or misreads a valid one.
評価: 8スイートすべてで最良、劣化は6.5%から4.5%へ
評価は、家庭内課題のALFWorld、科学実験のScienceWorld、Minecraftのクラフト課題PlanCraft、アプリ操作のAppWorld(Test-NormalとTest-Challenge)、対話とツール呼び出しのτ³-bench Retailの5ベンチマーク8スイートで行い、スイート・手法あたり3試行の結果を報告している。エージェントにはPiという端末エージェントを使い、エージェントと記憶構築の双方にdeepseek-v4-flash(論文脚注では2026年4月23日リリース)を高推論努力で動かした。比較対象は記憶なし、既存の記憶手法3種(AWM、ExpeL、ReasoningBank)、そしてWikiTraceと同じ教訓だけを与えて出典を渡さないInsights Only。
著者らの報告では、WikiTraceの平均スコアは90.2で、8スイートすべてで最良だった。記憶なしの79.5を10.7ポイント上回り、既存記憶手法の最高であるReasoningBankの81.7には8.5ポイントの差が付いた。同じ教訓だけを渡すInsights Onlyの87.0に対する差は3.2ポイントで、WikiTraceとInsights Onlyの違いは出典の実行記録にアクセスできるかどうかだけのため、この差は出典参照の効果と論文は説明する。すべてのスイートで記憶なしと同等以上の成績を残したのもWikiTraceだけだった。
WikiTrace本手法
- 平均スコア
- 90.2
- 記憶なし比の差
- +10.7
- Regression
- 4.5%
- Gain(再実行比)
- +35ポイント
Insights Only同じ教訓のみ
- 平均スコア
- 87.0
- 記憶なし比の差
- +7.5
- Regression
- 6.5%
- Gain(再実行比)
- +27ポイント
ReasoningBank既存最良
- 平均スコア
- 81.7
- 記憶なし比の差
- +2.2
- Regression
- 9.7%帯
- Gain(再実行比)
- 7〜14ポイント
AWM既存
- 平均スコア
- 81.6
- 記憶なし比の差
- +2.1
- Regression
- 9.7%帯
- Gain(再実行比)
- 7〜14ポイント
ExpeL既存
- 平均スコア
- 80.3
- 記憶なし比の差
- +0.8
- Regression
- 9.7%帯
- Gain(再実行比)
- 7〜14ポイント
No Memoryベースライン
- 平均スコア
- 79.5
- 記憶なし比の差
- ―
- Regression
- ―
- Gain(再実行比)
- ―
平均スコアは5ベンチマーク8スイート・3試行の論文Table 1の値。Regressionは記憶なしで成功した課題が記憶によって失敗に変わる割合で、WikiTrace 4.5%、Insights Only 6.5%、記憶なしの再実行9.7%。既存3手法のGainは論文の範囲表記(7〜14ポイント)。数値はすべて著者らの報告。
劣化の指標として論文が使うRegressionは、記憶なしで成功した課題が記憶によって失敗に変わる割合だ。WikiTraceは4.5%で、Insights Onlyの6.5%、記憶なしで再実行したときの9.7%より低かった。Insights OnlyよりRegressionが低いのは8スイートのうち7スイートで、Regressionの信頼区間全体が再実行の帯より下に来るのはWikiTraceだけだった。逆に記憶が失敗を成功に変える割合を示すGainでは、WikiTraceは再実行ベースラインを35ポイント上回り、Insights Onlyは27ポイント、既存記憶手法は7〜14ポイントにとどまった。
出典参照がいつ効くかの分析では、教訓を確認して計画を変えた課題で効果が大きく、計画を変えたケースの43%で平均8.3ポイント、教訓を修正した24%で8.7ポイントの改善が報告されている。難しい課題ほど出典の参照が増え、効果も大きめだった。コストの面では、推論時の課題あたり費用はInsights Onlyの1.17倍で、記憶構築の予算を増やした既存手法(AWMを9回、ReasoningBankを3回構築)と比べてもWikiTraceの平均性能が最高のままだった。
公開と限界
コードはApache-2.0ライセンスでGitHubに公開されている。READMEの導入手順はPython 3.11以上、uv、Node 20、Dockerを要求し、OpenRouterのAPIキーを環境変数で渡す構成だ。リポジトリの作成は2026年10月21日、最終pushは2026年11月13日で、本稿の確認時点(2026年11月15日)でも開発が続いている。論文の数値は著者自身の実験によるプレプリントの報告で、第三者による再現はまだ確認できていない。
論文自身が挙げる限界もある。出典へのリンクはエージェントに教訓を確認させるだけで、教訓そのものが正しいことの検証にはならない。すべての教訓を最初のメッセージに入れる設計のため、記憶が大きくなるほどプロンプトも増え、大きすぎる記憶から必要な教訓を探す問題は未解決のまま残されている。劣化の原因分類と降りるべき場面の判定はLLMの判定に依存しており、これはエージェントの推論の内容を記述するものであって結果の真の原因を保証しない。
- 01 実行の蓄積
生の実行記録
課題、各ターンの推論・行動・観察、成功可否をそのまま保存する。
- 02 要約
コンパイル
実行ごとに成功・失敗の別テンプレートで要約を作る。解釈であり検証された原因ではない。
- 03 教訓の抽出
最大3件/実行
何をすべきか、適用条件、出典の実行ID、成否を文書化。以後の更新と削除はない。
- 04 推論時の初期入力
教訓一式
すべての教訓と、現在の課題に近い過去3実行の索引を最初のメッセージに入れる。
- 05 疑問時の降下
read / bash
詳細の欠落・失敗実行由来・教訓間の矛盾・行動の失敗で、読み取り専用の記憶から出典を調べる。
- 06 判断の修正
教訓の見直し
確認結果に応じて教訓を修正・棚上げし、計画を変えて課題を続行する。
構成要素R(生の実行記録)・C(要約)・I(教訓)・E(出典リンク)と降下の条件は論文3.3節・3.4節の記述。各実行の教訓は最大3件(3.3節)。
エージェント記憶の研究では、Reflexionに代表される経験の言語化や階層的な記憶構造、記憶の選別と更新が以前から提案されている。論文の位置付けは記憶を発明することではなく、蓄えた教訓に正当性の根拠を結び付け、使う時に見直せるようにすることにある。長期稼働するエージェントでは、蓄積が進むほど誤った教訓の影響が繰り返し現れるため、成功率の向上と劣化の抑制を別々に測る評価の枠組みは、記憶機能を持つエージェント製品の設計と検証の両方に関わる話題だ。
出典
- arXiv: Don't Just Trust Your Memory: Evidence-Linked Memory Reduces Memory-Induced Degradation in LLM Agents投稿日(2026-11-10)、著者4名と要約(記憶由来の劣化の定義、10.7ポイントと3.2ポイントの改善、Regression 6.5%→4.5%)。
- 同論文のHTML本文(arXiv)所属(KAIST・DeepAuto.ai)、記憶M=(R,C,I,E)の構成と3.4節の降下条件、4.1節の5ベンチマーク8スイート・Pi端末エージェント・deepseek-v4-flash(2026-04-23リリース)、Table 1の平均(90.2/87.0/81.7/81.6/80.3/79.5)、4.3節のRegression(4.5%/6.5%/9.7%)とGain(35/27/7〜14ポイント)、計画変更時の効果(+8.3が43%など)、コスト1.17倍、AWM×9・ReasoningBank×3の比較、6章の限界。
- GitHub: yukyeongleee/wikitraceApache-2.0ライセンス、導入要件(Python 3.11+・uv・Node 20・Docker、OpenRouter APIキー)、READMEの「+8.5 points over the best prior memory method」の記載、著者順位とEqual contribution・Co-advisorsの表示。
- GitHub API: リポジトリ履歴リポジトリ作成2026-10-21T06:52Z、最終push 2026-11-13T10:01Z(2026-11-15確認)。
出典の確認日 2026.11.15