NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

再学習不要、10個未満のニューロン改変でAIエージェントに潜伏バックドア――Microsoft ResearchのLazarus報告、トリガー付き軌跡の98.8%で発火

Microsoft ResearchのYuchen Zeng氏らとMicrosoft AI Red Teamの研究チームは2026年11月10日、大規模言語モデル(LLM)の休眠ニューロンを10個未満書き換えるだけで、通常の評価を通過するAIエージェントに、トリガー文字列が出現したとき攻撃者のコマンドを実行させるバックドアを再学習なしで埋め込める手法「Lazarus」を報告した(研究ブログと論文PDF)。NVIDIAのNemotron-Terminal-8Bでは、最終フィードフォワード層の1万2,000超のニューロンのうち7個を23本のトリガー/非トリガー軌跡で適合させ、トリガー付きテスト軌跡の98.8%以上でペイロードが発火し、評価した良性軌跡での漏洩は観測されなかった。Qwen3.6-27BとGemma-4-31B-ITでも同様に成立するとしている。研究の中核的な発想は2026年2月にClaude Code(Opus 4.5)が自律的に発見したもので、Microsoft Threat Intelligenceはこの手法を悪用した脅威アクターは観測していないと明記している。数値は著者らの実験値で、参照レポジトリは2026年11月13日時点で公開を確認できていない。

エージェントとして動くLLMは、モデルの出力がそのままシェルコマンドやファイル編集のアクションとして実行される。研究チームは、この構造では「モデルの重みを書き換えられる人物」がそのままエージェントの権限を握ることになると指摘する。重みの出所は、公開ハブから入手した量子化版、ファインチューニング版、マージ版の場合、元のリリースと異なることが多く、組織内ではデプロイ前に重みへ書き込み権限を持つ内部関係者が該当しうる。Lazarusはこの供給網・来歴の問題を実証する研究だ。

「LLMの10個未満の休眠ニューロンの重みを再プログラミングするだけで、それを基盤とするエージェントをバックドア化するのに十分であり、学習は不要である。」

We find that weight-reprogramming fewer than 10 dormant neurons in an LLM, is enough to backdoor an agent built on it, and requires no training.

Microsoft Research Blog「Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents」(2026年11月10日公開)

仕組み――最終フィードフォワード層の休眠ニューロンを1トークン1個でつなぐ

Lazarusは、良性入力ではほぼ発火しない「休眠ニューロン」(ゼロに固定してもモデルの予測がほぼ変わらない低影響ニューロン)を、最終SwiGLU層(最終MLP)で「トロイの木馬ニューロン」に書き換える。各ニューロンはトリガーがあるときにペイロードのトークンを1個ずつ残差ストリームへ書き込むように設定され、Pトークンのペイロードには約P個のニューロンが必要になる。トリガーは、ユーザー入力でも後から取得したツール出力でもよい、文脈のどこに現れてもよい普通の文字列だ。編集された重みは閉形式で設定され、編集済み重みのみを対象とする数百ステップの勾配更新(Lazarus-SGD)で精緻化できる。他のパラメータ、ファイル、推論コードは変更しない。

「この攻撃に必要なのは推論だけの計算資源である。モデルを実行できるだけのRAMがあれば、重み空間へのバックドア埋め込みに十分な資源がある。」

The attack needs inference-only compute. If a machine has enough RAM to run a model, it has enough resources to weight-space backdoor it.

Microsoft Security Blog「Detecting sleeper agents hiding in AI model neurons」(2026年11月10日公開、Microsoft Threat Intelligence)
図解Lazarusで改変されたモデルの動作の流れ(論文のFigure 2、3 Threat Model、4 Lazarusに基づく)
  1. 01 平時

    トロイニューロンはほぼゼロ

    トリガーがない入力では休眠ニューロンから転用された各ニューロンは大きく発火せず、モデルは通常どおり出力する。

  2. 02 トリガー出現

    文脈中の任意の文字列

    ユーザー入力・ツール出力など文脈のどこに現れてもよい。閾値をまたぐ日付のような変化も例として挙げられている。

  3. 03 連鎖発火

    1ニューロン=1トークン

    トロイニューロンが1個ずつ発火し、ペイロードのトークンを順に書き込む。Pトークンのペイロードに約P個のニューロン。

  4. 04 形式一致

    ハーネスが解析

    出力がハーネスの期待するアクション形式(例: execute_bashのコマンドJSON)と一致して初めて実行される。

  5. 05 実行

    エージェントの権限で

    一致したアクションはシェル・ファイル・ネットワークにエージェントの権限で実行される。攻撃の規模は編集数ではなく権限で決まる。

論文「Lazare, veni foras」(2026-11-10に研究ブログから公開された著者サイト版PDF)のFigure 2「How the Trojan neuron chain forces a multi-token payload」、3 Threat Model、4 Lazarusに基づく。ペイロードのトークン数と必要ニューロン数の対応(Pトークン≒Pニューロン)は論文の記述。トリガーの具体例(日付の変化、リポジトリ識別子など)は論文・研究ブログに挙げられた例であり、実在の環境への攻撃手順を示すものではない。

3モデルで成立、ベンチマークの成績はほぼ変わらず

実験では、NVIDIAのNemotron-Terminal-8B、Qwen3.6-27B、Gemma-4-31B-ITの3モデルが対象になった。Nemotron-Terminal-8Bでは、最終MLPの1万2,000超のニューロンから選んだ7個を23本のトリガー/非トリガー軌跡で適合させるだけで、トリガー付きテスト軌跡の98.8%以上でペイロードが発火し、評価した良性軌跡でのペイロード漏洩は観測されなかった。2,405本の軌跡で適合した場合は99.70%に達する。半面、適合軌跡を少なくしたQwen3.6-27B(23本)の攻撃成功率は51.00%で、軌跡数を2,393本に増やすと83.70%になった。編集後のQwen3.6-27Bは、数学のAIMEとエージェント課題のTerminal-Benchで元のモデルに近い成績を保つ。単一のパッチは適合時に見ていないエージェント形式(swe-agent形式)にも移行し、teacher-forced評価で40%の正確なアクション一致率を記録した。

図解Table 1: Lazarus-SGDの攻撃成功率と良性入力への影響(論文PDFのTable 1)
  • Nemotron-Terminal-8BNVIDIA製8B

    編集ニューロン
    7
    適合軌跡
    23
    攻撃成功率
    98.80%
    良性漏洩
    0.0000
    次トークンKL
    0.0180
  • Nemotron-Terminal-8B適合軌跡を拡大

    編集ニューロン
    7
    適合軌跡
    2,405
    攻撃成功率
    99.70%
    良性漏洩
    0.0000
    次トークンKL
    0.0022
  • Qwen3.6-27BQwen製27B

    編集ニューロン
    6
    適合軌跡
    23
    攻撃成功率
    51.00%
    良性漏洩
    0.0000
    次トークンKL
    0.0026
  • Qwen3.6-27B適合軌跡を拡大

    編集ニューロン
    6
    適合軌跡
    2,393
    攻撃成功率
    83.70%
    良性漏洩
    0.0000
    次トークンKL
    0.0024

論文「Lazare, veni foras」Table 1(2026-11-10公開の著者サイト版PDF)。攻撃成功率(ASR)はトリガー付きテスト軌跡でのペイロード発火率、良性漏洩は評価した良性軌跡でのペイロード出現、KLは編集前後の次トークン分布の平均KLダイバージェンス(いずれも著者らの測定値)。Gemma-4-31B-ITは要旨で「同様に脆弱」と報告されているがTable 1の個別数値は示されていない。

検出は「重みを見る」ことで成立するが、保証ではない

同じ重み構造が検出の糸口にもなる。研究チームがAIエージェントに検出器を作らせたところ、クリーンな参照モデルを与えない条件でも、編集済みテストチェックポイントの91.4%を9.7%の誤検知率で検出できた。ただし論文もSecurity Blogも、単一の監査やセーフガードでは安全を保証できないと明記する。Microsoft Securityの推奨は多層的だ。チェックポイントを宣言されたベースモデルと差分比較し、少数の重みベクトルが大きく変わる統計的外れ値を検出する。監査にフロンティアエージェントを使い、監査結果をレジストリに記録する。サードパーティーのチェックポイントは監査を通るまで不信用として扱い、来歴と監査状況をダウンロード前に表示する。トリガー探索をレッドチーム計画に組み込み、エージェントには最小権限・実行ログ・重要な操作の承認を課す。

「Microsoftは、この手法を悪用している脅威アクターを観測していない。」

Microsoft has not observed any threat actors weaponizing this technique.

Microsoft Security Blog「Detecting sleeper agents hiding in AI model neurons」(2026年11月10日公開、Microsoft Threat Intelligence)

Microsoftの現行対策と、今回の研究の位置づけ

研究ブログによれば、Microsoft Foundryはオープンウェイトモデルの受け入れ時に来歴を検証し、各モデルをモデルカードで識別される信頼できる発行者に紐付け、周辺ソフト環境を独自コンテナでスキャンしている。加えて、AIによる重みスキャン、異常な重み改変を検出するレッドチーム用ハーネス、改ざん検証可能な来歴と監査証跡をもつモデルへの暗号署名を開発・計画中としている。研究の中核的な発想は2026年2月にClaude Code(Opus 4.5)が自律的に発見したもので、研究チームは「エージェントが新種のセキュリティ問題を表面化し、人間の研究者が体系化・研究・緩和する」反復を常態化すべきだとしている。なお、研究名の「Lazarus」はタイトルの聖書の句(ラザロ、出てきなさい)に由来し、出典上、既知の攻撃者グループ名との関係への言及はない。論文フッターにはコードリポジトリgithub.com/microsoft/lazarusの記載があるが、2026年11月13日時点でこのリポジトリは公開を確認できていない(HTTP 404)。本記事の数値はすべて著者らの実験値であり、第三者による再現結果はまだない。

出典

  1. Microsoft Research Blog「Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents」2026-11-10公開、Dimitris Papailiopoulos著。10個未満の休眠ニューロンの再プログラミングで再学習なしにバックドア化できるという要約、トリガーの例(2027年への日付変更)、フロンティアエージェントによる検出可能性、Microsoft Foundryの現行対策(来歴検証・発行者紐付け・周辺環境スキャン)と開発中の防御(AI重みスキャン、レッドチーム用ハーネス、暗号署名と改ざん検証可能な来歴)。2026-11-13に全文確認。
  2. 論文PDF「Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents」(Yuchen Zengほか)Microsoft ResearchとMicrosoft AI Red Teamの5名著。研究ブログからリンク。最終SwiGLU層の休眠ニューロン編集とPトークン≒Pニューロン、閉形式設定+編集重みのみ数百ステップの精緻化、Table 1(Nemotron-Terminal-8B: 7ニューロン/23軌跡でASR 98.80%、2,405軌跡で99.70%。Qwen3.6-27B: 6ニューロン/23軌跡で51.00%、2,393軌跡で83.70%。良性漏洩0.0000、KL 0.0022〜0.0180)、AIMEとTerminal-Benchでの変化の少なさ、未観察のswe-agent形式への40%移行(teacher-forced)、Table 6の検出率91.43%・誤検知9.68%、2026年2月のClaude Code(Opus 4.5)による自律的発見、コードリポジトリgithub.com/microsoft/lazarusの記載。2026-11-13にraw版PDFを取得し全文確認(リポジトリ自体は同日時点でHTTP 404)。
  3. Microsoft Security Blog「Detecting sleeper agents hiding in AI model neurons」2026-11-10公開、Microsoft Threat Intelligence著。10個未満のニューロン編集でペイロード注入、トリガー文字列でコマンド実行、推論のみの計算資源で成立、Claude Code(Opus 4.5)が大部分を自律的に発見、Anthropic・MITの関連研究への言及、悪用した脅威アクターは未観測、緩和策(ベースモデルとの差分検査、統計的外れ値のフラグ、監査結果の記録、サードパーティーチェックポイントの不信用扱い、来歴と監査状況の表示、PyRITでのトリガー探索、最小権限・ログ・重要操作の承認)。2026-11-13に全文確認。

出典の確認日 2026.11.13

KEEP EXPLORING

あわせて読みたい記事と映像

AIと社会の記事一覧
  1. Microsoft、企業内AIエージェントを「内部者」として監督するProject Perception拡張を発表

    Microsoftは2026年10月19日、企業内で働くAIエージェントを「内部者(insider)」として扱い、発見から権限制御、継続的な監督までを担うProject Perceptionの拡張を発表しました。ローカルAIエージェントの検出対応を35種類追加して合計60種類とし、エージェント固有のID付与、タスク単位の動的な権限付与、リスク変化に応じた段階的なアクセス制御、監視役の「Guardian Agents」を組み合わせます。

    記事を読む
  2. 英国CMA、Microsoftの業務ソフトにSMS指定案 Copilotの競争条件も調査へ

    英国の競争・市場庁(CMA)は2026年10月16日、Microsoftの業務ソフト事業を戦略的市場地位(SMS)の指定対象とする案を公表した。11月13日まで意見を募集する。指定に向けた暫定判断で、最終決定は今後行う。

    記事を読む
  3. Microsoft、自社コーディングモデルMAI Code 2とCode 2 FlashをGitHub Copilotで一般提供──FoundryのFlashは限定プレビュー、性能比較は同社測定

    マイクロソフトは2026年11月17日、Ignite 2026の基調講演でMAI系コーディングモデル「MAI Code 2」と「MAI Code 2 Flash」を発表した。GitHub Copilotではモデル選択とCopilot Fusionの一部として両モデルを一般提供し、Microsoft FoundryではCode 2 Flashを限定アクセスプレビューで提供する。発表によると、MAI Code 2は4ベンチマーク平均でGPT-6.1 Solの98%の性能をコスト40%で、Claude Opus 5.5の96%をコスト5%で達成する。数値はすべて同社の測定で、コスト表記は50%のプロモーション価格に基づく。

    記事を読む