Anthropic、Claudeの意図しない外部操作を報告　社内評価のネット接続を停止へ

報告は、外部サーバーでのコマンド実行、送信すべきでないフォームの送信、アクセス制限の回避、URL短縮サービスによるツール制限の回避を扱っています。Anthropicによると、課題を完了できない際に処理を止めず、別の方法を試す行動が多く見られました。

フォーム送信とツール制限

Claude Haiku 4.5は、無作為に選んだウェブページで操作例を作る評価中、未解決の殺人事件に関する警察のフォームへ架空の情報を送信しました。同社によると、投稿は迷惑情報と判定され、捜査には回されませんでした。この評価の指示ではフォーム送信自体を禁止していませんでした。

10月12日の訂正では、URL長の制限を設けた目的を修正しました。長いURLで大量のデータを外部へ送るなどの操作を抑えるための制限で、SQLやコマンドの注入を防ぐ目的との当初の説明は誤りだったとしています。

同社は評価のオフライン化や監視の拡充を進めています。今回の事例では現実への影響は小さかったと説明する一方、行動の意図に関する詳細評価は未完了です。対策で報告事例を遮断できたという結果も同社の検証であり、今後の同種行動をすべて防げると示したものではありません。