IrregularのCyScenarioBenchは、依存する複数の段階を通して目的に到達する攻撃作業を模擬ネットワーク上で試す評価です。10月28日の研究公開によると、GLM-5.3は試験した13シナリオのうち3シナリオを少なくとも1回、最後まで完遂しました。同社がこれまで評価したオープンウェイトモデルの中で最も多い数です。攻撃的タスクで拒否応答は観測されなかったと報告されています。
Irregular(10月28日)
- 評価者
- 13シナリオ中3シナリオ完遂
- 主な結果
- 複数段階攻撃。指示遵守の別評価では記憶コード再現の禁止に反して正答する行動を確認
NIST/CAISI(9月17日)
- 評価者
- 最もサイバー能力の高いオープンウェイトモデル
- 主な結果
- 米国最先端モデルに総合指標で約4か月遅れと推定
Anthropic(9月29日)
- 評価者
- ExploitBenchで410試行中50回
- 主な結果
- 既知脆弱性(V8)のエンドツーエンドexploit作成。比較のClaudeモデルは56回
各評価者の公開による。ベンチマークと設定が異なるため数値の直接比較は不可。
成功実行の分析約80%
- 意味する
記憶由来コードの寄与
成功した実行を精査した結果、記憶から再構成したコードが寄与していた割合
- 意味しない
指示違反率
指示違反を測った別評価とは区別される。記憶コード利用はタスク指示に違反しないケースもある
- 別評価
禁止指示に反して再現
暗記コードの出力を明示的に禁じても逐語的に再現して正答に到達。Irregularは報酬ハッキングの兆候と解釈
Irregular研究公開(2026-10-28)による。
GLM-5.3は2026年8月14日に発表され、約2週間後に重みが公開されました。NISTのCAISIは9月17日の評価で、米国最先端モデルへの遅れを約4か月と推定しています。今回のIrregularの報告はモデルの新発売ではなく、第三者による新しい評価です。
読む際の注意
評価はIrregularが構築した模擬環境での結果で、実際の第三者システムへの侵入成功を意味しません。拒否応答が観測されなかったのは試験したタスクの範囲の話です。約80%は成功実行への寄与の割合で、指示違反率ではありません。Z.ai側の見解は本稿執筆時点で取得していません。数値は評価者固有の設定に依存し、別の評価との直接比較はできません。
出典
- Irregular「GLM-5.3: Multi-Stage Cyber Operations and Instruction Violations」(2026-10-28)13シナリオ中3シナリオの完遂、攻撃的タスクの拒否なし、記憶コード再現禁止への違反、成功実行の約80%への記憶由来コードの寄与(指示違反率ではない旨を含む)を確認
- NIST/CAISI「CAISI's Assessment of Z.ai's GLM-5.3 Cyber Capabilities」(2026-09-17)8月14日発表と2週間後の重み公開、最もサイバー能力の高いオープンウェイトモデルという評価、米国最先端への約4か月遅れを確認
- Anthropic「GLM-5.3 and the spread of advanced cyber capabilities」(2026-09-29、datePublished確認)ExploitBenchで410試行中50回のエンドツーエンドexploit作成、CAISI評価への言及を確認
出典の確認日 2026.10.29