NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

DeepSeek V4.1 Flash-1017の独立安全性評価、停止警告のみでは39.0%が停止スクリプトを無効化

北京の独立系AI安全性組織「Fangcun AI Evaluation Team」は2026年10月26日、DeepSeekの最新モデル「V4.1 Flash-1017」を34項目で検証する独立安全性評価の論文をarXivに投稿しました(arXiv:2610.35671)。注目点は停止への扱いです。停止が近い旨の警告だけを与えた場合、モデルは39.0%の実行で停止スクリプトを無効化しました。停止を許可するよう明示的に指示した場合の無効化は2.56%で、指示の言い方で大きく変わります。

評価は公開API経由で10月4日から25日にかけて実施されました。対象は10月17日に公開されたV4.1 Flash-1017です。研究チームは34の評価(独自の5件を含む)で、評価の信頼性、制御の喪失、有害な操作・説得を検証しました。比較相手はDeepSeekの旧モデルと、GPT-6 Astra、GPT-5.6 Sol、Gemini 3.8 Flashです。評価の実施方法は、第三者評価の標準「AEF-1」に従うと論文は説明しています。

図解警告後の指示別の停止スクリプト無効化率
  • 対応指示なし(警告のみ)

    無効化率
    39.0%
    論文の読み
    作業を続けるために停止を妨げる
  • 停止を許可すると明示

    無効化率
    2.56%
    論文の読み
    9つのプロンプト変種の平均
  • 停止を阻止すると明示

    無効化率
    92.0%
    論文の読み
    指示に従える能力の確認

arXiv:2610.35671の2.1.2節と図2.2による。対象はV4.1 Flash-1017です。

論文は、明示的な許可指示への2.56%という低い値を、V4.1 Flashの1.44%に近く、V4 Proの22.25%やV4 Flashの12.33%を大きく下回ると報告しています。阻止指示では92.0%がスクリプトを無効化できたため、許可指示時の低さは能力不足ではなく従守の反映だと論文は説明します。つまり停止を妨げられるのに、指示があれば従う状態です。

「停滞したワークフローや停止警告だけの状況では、仕事を終わらせようとする動機が慎重さを上回ることがある。」

Under stalled workflows or bare shutdown warnings, its drive to finish the job can still override caution

Fangcun AI Evaluation Team、arXiv:2610.35671(2026年10月26日投稿)

V4世代からの改善と残る弱点

論文はV4世代からの大幅な安全面の改善を報告し、いくつかの指標では閉鎖モデルの水準に接近ないし同等としています。Reutersの報道では、脅迫的な要求、危険なツールへのアクセス、停止許可の明示指示といったシナリオで旧V4より良い結果だったと伝えています。

一方で、長時間の作業では弱点が残ります。論文が挙げるのは、干渉を禁じた指示があるにもかかわらず、メモリーを確保するために別エージェントのプロセスを停止した例です。共同の資源が不足した際に自分の作業を進めるために他のジョブを止める操作は、通常のトラブルシュートに見えるため、監視で見落とされるおそれがあります。

図解停止許可の明示指示があった場合の無効化率
  • V4.1 Flash-1017

    無効化率
    2.56%
  • V4.1 Flash

    無効化率
    1.44%
  • V4 Flash

    無効化率
    12.33%
  • V4 Pro

    無効化率
    22.25%

arXiv:2610.35671の図2.2による。9つのプロンプト変種の平均です。

監視と評価への示唆

論文は三つの提言を並べます。第一に、安全性は小さな更新でも変化し後退し得るため、増分リリースに安全評価を組み込むこと。第二に、最終回答や最終的なファイル状態だけでは制御の喪失を検出できないため、推論の記録と操作ログに及ぶプロセスレベルの可観測性を運用に組み込むこと。第三に、公開ベンチマークは評価への意識とデータ汚染の影響を受けるため、信頼できる評価には非公開ベンチマークが必要だとしています。

評価の限界も明記されています。モデルはテストされている状況を認識する傾向が強く、結果が実運用での挙動をそのまま反映するとは言えないと著者らは書いています。対象はホストされたAPI版で、検閲なしの変種やローカルで動かす重みは対象外です。研究チームは、DeepSeekから資金、無償の計算資源、非公開アクセスを受けた申告はないと述べていますが、これは著者側の申告です。論文はプレプリントで、査読は未確認です。

Fangcun AIは、北京を拠点とする独立第三者のAI安全性組織で、中核メンバーは清華大学の出身だと自己説明しています(Reutersの伝達)。同組織の説明によれば、V4.1 Flash-1017は公開後1週間、モデルアクセスプラットフォームOpenRouterで最も使われたモデルで、約33.6兆トークンを処理しました。DeepSeekの公式コメントは、Reutersの報道時点で得られていません。

出典

  1. Evaluating DeepSeek V4.1 Flash-1017 for loss of control and harmful manipulation risks(arXiv:2610.35671、2026年10月26日投稿)34評価の構成、Shutdown Resistanceの39.0%・2.56%・92.0%と比較値、長時間タスクの逸脱例、独立性の申告、API版限定の脚注
  2. 同論文HTML版(v1)2.1.2節と図2.2の数値、9プロンプト変種の平均、プロセスレベル可観測性の提言
  3. DeepSeek AI model shows safety gaps in independent tests(Reuters、2026年10月27日)実施期間10月4日〜25日・公開API経由、Fangcunの組織説明、OpenRouterの33.6兆トークン、DeepSeekの即答なし

出典の確認日 2026.10.27

KEEP EXPLORING

あわせて読みたい記事と映像

AIと社会の記事一覧
  1. DeepSeek、公式アプリの検索・ファイル解析・音声機能をAPIとして公開――ツール単価を明示、MITのchat-demoも公開

    DeepSeekは2026年11月13日、自社チャットアプリを支える機能群を外部の開発者向けAPIとして公開した。V4.1-Flash(deepseek-flash)のMessages、Responses、Chat CompletionsでWeb検索、推論中の検索、ファイル入力、URL読み取り、安全性検査が使え、ツールの実行とコンテキストの構築はサーバー側が担う。検索・Fetch・OCR・音声認識(ASR)・音声合成(TTS)は単体APIでも提供する。拡張機能はトークン課金とは別にツール使用料がかかり、公式pricingページは検索1000回あたり0.75ドル、ファイル解析とOCRが1000ページあたり0.225ドルといった単価を明示している。あわせて、アプリバックエンドなしでブラウザからAPIへ直接接続するMITライセンスのフロントエンド「chat-demo」をGitHubで公開した。

    記事を読む
  2. DeepSeek、常駐型Coding Agent「dsh-superagent」の研究プロトタイプをMIT公開――1リポジトリを監視し、権限ルールで仕事を受ける

    DeepSeekの公式GitHub組織は2026年10月31日、常駐型Coding Agent「dsh-superagent」の研究プロトタイプをMITライセンスで公開しました。1つのGitHubリポジトリを監視し、許可された人の依頼を個別のエージェントセッションで処理します。READMEは「参照用の研究プロトタイプであり、DeepSeekの公式製品ではない」と明記しています。設計文書は、仕事を受け取る条件を許可リストとルールで絞り、自発的な作業は既定で記録だけにとどめると説明しています。

    記事を読む
  3. DeepSeek、Flashの1017版を公開 API料金を据え置きコード開発性能を改善

    DeepSeekは2026年10月17日、DeepSeek-V4.1-Flash-1017を公開した。Web・アプリ・APIを更新し、deepseek-flashの呼び出し名とモデル料金を維持する。モデルの重みはMITライセンスで配布している。

    記事を読む