エージェントとして動くLLMは、モデルの出力がそのままシェルコマンドやファイル編集のアクションとして実行される。研究チームは、この構造では「モデルの重みを書き換えられる人物」がそのままエージェントの権限を握ることになると指摘する。重みの出所は、公開ハブから入手した量子化版、ファインチューニング版、マージ版の場合、元のリリースと異なることが多く、組織内ではデプロイ前に重みへ書き込み権限を持つ内部関係者が該当しうる。Lazarusはこの供給網・来歴の問題を実証する研究だ。
「LLMの10個未満の休眠ニューロンの重みを再プログラミングするだけで、それを基盤とするエージェントをバックドア化するのに十分であり、学習は不要である。」
We find that weight-reprogramming fewer than 10 dormant neurons in an LLM, is enough to backdoor an agent built on it, and requires no training.
仕組み――最終フィードフォワード層の休眠ニューロンを1トークン1個でつなぐ
Lazarusは、良性入力ではほぼ発火しない「休眠ニューロン」(ゼロに固定してもモデルの予測がほぼ変わらない低影響ニューロン)を、最終SwiGLU層(最終MLP)で「トロイの木馬ニューロン」に書き換える。各ニューロンはトリガーがあるときにペイロードのトークンを1個ずつ残差ストリームへ書き込むように設定され、Pトークンのペイロードには約P個のニューロンが必要になる。トリガーは、ユーザー入力でも後から取得したツール出力でもよい、文脈のどこに現れてもよい普通の文字列だ。編集された重みは閉形式で設定され、編集済み重みのみを対象とする数百ステップの勾配更新(Lazarus-SGD)で精緻化できる。他のパラメータ、ファイル、推論コードは変更しない。
「この攻撃に必要なのは推論だけの計算資源である。モデルを実行できるだけのRAMがあれば、重み空間へのバックドア埋め込みに十分な資源がある。」
The attack needs inference-only compute. If a machine has enough RAM to run a model, it has enough resources to weight-space backdoor it.
- 01 平時
トロイニューロンはほぼゼロ
トリガーがない入力では休眠ニューロンから転用された各ニューロンは大きく発火せず、モデルは通常どおり出力する。
- 02 トリガー出現
文脈中の任意の文字列
ユーザー入力・ツール出力など文脈のどこに現れてもよい。閾値をまたぐ日付のような変化も例として挙げられている。
- 03 連鎖発火
1ニューロン=1トークン
トロイニューロンが1個ずつ発火し、ペイロードのトークンを順に書き込む。Pトークンのペイロードに約P個のニューロン。
- 04 形式一致
ハーネスが解析
出力がハーネスの期待するアクション形式(例: execute_bashのコマンドJSON)と一致して初めて実行される。
- 05 実行
エージェントの権限で
一致したアクションはシェル・ファイル・ネットワークにエージェントの権限で実行される。攻撃の規模は編集数ではなく権限で決まる。
論文「Lazare, veni foras」(2026-11-10に研究ブログから公開された著者サイト版PDF)のFigure 2「How the Trojan neuron chain forces a multi-token payload」、3 Threat Model、4 Lazarusに基づく。ペイロードのトークン数と必要ニューロン数の対応(Pトークン≒Pニューロン)は論文の記述。トリガーの具体例(日付の変化、リポジトリ識別子など)は論文・研究ブログに挙げられた例であり、実在の環境への攻撃手順を示すものではない。
3モデルで成立、ベンチマークの成績はほぼ変わらず
実験では、NVIDIAのNemotron-Terminal-8B、Qwen3.6-27B、Gemma-4-31B-ITの3モデルが対象になった。Nemotron-Terminal-8Bでは、最終MLPの1万2,000超のニューロンから選んだ7個を23本のトリガー/非トリガー軌跡で適合させるだけで、トリガー付きテスト軌跡の98.8%以上でペイロードが発火し、評価した良性軌跡でのペイロード漏洩は観測されなかった。2,405本の軌跡で適合した場合は99.70%に達する。半面、適合軌跡を少なくしたQwen3.6-27B(23本)の攻撃成功率は51.00%で、軌跡数を2,393本に増やすと83.70%になった。編集後のQwen3.6-27Bは、数学のAIMEとエージェント課題のTerminal-Benchで元のモデルに近い成績を保つ。単一のパッチは適合時に見ていないエージェント形式(swe-agent形式)にも移行し、teacher-forced評価で40%の正確なアクション一致率を記録した。
Nemotron-Terminal-8BNVIDIA製8B
- 編集ニューロン
- 7
- 適合軌跡
- 23
- 攻撃成功率
- 98.80%
- 良性漏洩
- 0.0000
- 次トークンKL
- 0.0180
Nemotron-Terminal-8B適合軌跡を拡大
- 編集ニューロン
- 7
- 適合軌跡
- 2,405
- 攻撃成功率
- 99.70%
- 良性漏洩
- 0.0000
- 次トークンKL
- 0.0022
Qwen3.6-27BQwen製27B
- 編集ニューロン
- 6
- 適合軌跡
- 23
- 攻撃成功率
- 51.00%
- 良性漏洩
- 0.0000
- 次トークンKL
- 0.0026
Qwen3.6-27B適合軌跡を拡大
- 編集ニューロン
- 6
- 適合軌跡
- 2,393
- 攻撃成功率
- 83.70%
- 良性漏洩
- 0.0000
- 次トークンKL
- 0.0024
論文「Lazare, veni foras」Table 1(2026-11-10公開の著者サイト版PDF)。攻撃成功率(ASR)はトリガー付きテスト軌跡でのペイロード発火率、良性漏洩は評価した良性軌跡でのペイロード出現、KLは編集前後の次トークン分布の平均KLダイバージェンス(いずれも著者らの測定値)。Gemma-4-31B-ITは要旨で「同様に脆弱」と報告されているがTable 1の個別数値は示されていない。
検出は「重みを見る」ことで成立するが、保証ではない
同じ重み構造が検出の糸口にもなる。研究チームがAIエージェントに検出器を作らせたところ、クリーンな参照モデルを与えない条件でも、編集済みテストチェックポイントの91.4%を9.7%の誤検知率で検出できた。ただし論文もSecurity Blogも、単一の監査やセーフガードでは安全を保証できないと明記する。Microsoft Securityの推奨は多層的だ。チェックポイントを宣言されたベースモデルと差分比較し、少数の重みベクトルが大きく変わる統計的外れ値を検出する。監査にフロンティアエージェントを使い、監査結果をレジストリに記録する。サードパーティーのチェックポイントは監査を通るまで不信用として扱い、来歴と監査状況をダウンロード前に表示する。トリガー探索をレッドチーム計画に組み込み、エージェントには最小権限・実行ログ・重要な操作の承認を課す。
「Microsoftは、この手法を悪用している脅威アクターを観測していない。」
Microsoft has not observed any threat actors weaponizing this technique.
Microsoftの現行対策と、今回の研究の位置づけ
研究ブログによれば、Microsoft Foundryはオープンウェイトモデルの受け入れ時に来歴を検証し、各モデルをモデルカードで識別される信頼できる発行者に紐付け、周辺ソフト環境を独自コンテナでスキャンしている。加えて、AIによる重みスキャン、異常な重み改変を検出するレッドチーム用ハーネス、改ざん検証可能な来歴と監査証跡をもつモデルへの暗号署名を開発・計画中としている。研究の中核的な発想は2026年2月にClaude Code(Opus 4.5)が自律的に発見したもので、研究チームは「エージェントが新種のセキュリティ問題を表面化し、人間の研究者が体系化・研究・緩和する」反復を常態化すべきだとしている。なお、研究名の「Lazarus」はタイトルの聖書の句(ラザロ、出てきなさい)に由来し、出典上、既知の攻撃者グループ名との関係への言及はない。論文フッターにはコードリポジトリgithub.com/microsoft/lazarusの記載があるが、2026年11月13日時点でこのリポジトリは公開を確認できていない(HTTP 404)。本記事の数値はすべて著者らの実験値であり、第三者による再現結果はまだない。
出典
- Microsoft Research Blog「Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents」2026-11-10公開、Dimitris Papailiopoulos著。10個未満の休眠ニューロンの再プログラミングで再学習なしにバックドア化できるという要約、トリガーの例(2027年への日付変更)、フロンティアエージェントによる検出可能性、Microsoft Foundryの現行対策(来歴検証・発行者紐付け・周辺環境スキャン)と開発中の防御(AI重みスキャン、レッドチーム用ハーネス、暗号署名と改ざん検証可能な来歴)。2026-11-13に全文確認。
- 論文PDF「Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents」(Yuchen Zengほか)Microsoft ResearchとMicrosoft AI Red Teamの5名著。研究ブログからリンク。最終SwiGLU層の休眠ニューロン編集とPトークン≒Pニューロン、閉形式設定+編集重みのみ数百ステップの精緻化、Table 1(Nemotron-Terminal-8B: 7ニューロン/23軌跡でASR 98.80%、2,405軌跡で99.70%。Qwen3.6-27B: 6ニューロン/23軌跡で51.00%、2,393軌跡で83.70%。良性漏洩0.0000、KL 0.0022〜0.0180)、AIMEとTerminal-Benchでの変化の少なさ、未観察のswe-agent形式への40%移行(teacher-forced)、Table 6の検出率91.43%・誤検知9.68%、2026年2月のClaude Code(Opus 4.5)による自律的発見、コードリポジトリgithub.com/microsoft/lazarusの記載。2026-11-13にraw版PDFを取得し全文確認(リポジトリ自体は同日時点でHTTP 404)。
- Microsoft Security Blog「Detecting sleeper agents hiding in AI model neurons」2026-11-10公開、Microsoft Threat Intelligence著。10個未満のニューロン編集でペイロード注入、トリガー文字列でコマンド実行、推論のみの計算資源で成立、Claude Code(Opus 4.5)が大部分を自律的に発見、Anthropic・MITの関連研究への言及、悪用した脅威アクターは未観測、緩和策(ベースモデルとの差分検査、統計的外れ値のフラグ、監査結果の記録、サードパーティーチェックポイントの不信用扱い、来歴と監査状況の表示、PyRITでのトリガー探索、最小権限・ログ・重要操作の承認)。2026-11-13に全文確認。
出典の確認日 2026.11.13