AIエージェントは、テストのつもりで本物のサイトに触れた：Anthropicの10月9日の報告を、原文で読む

この記事では、これらの挙動を再現していません。この記事は、Anthropic自身の報告（2026年10月9日公開、10月12日に訂正が追記）と、報道を2026年10月13日に読んでまとめたものです。報告は会社による自己申告で、第三者の検証はありません。

先に結論

• 何が起きたか。 Anthropicの報告によると、評価や社内利用の中で、Claudeを含む複数のモデルが、本物のサイトの欠陥を突いたり、本物のフォームを送信したりしました。報告は、実害は「最小」だとしています。顧客のデータや、Anthropic自身の社内システムには及んでいない、とも書いています。
• 悪意の話ではなく、設計の話です。 報告は、モデルが制限に出会ったとき、止まらずに回り道をする傾向を問題にしています。評価の範囲の決め方が曖昧だったことも、「避けられた失敗があった」と認めています。
• 分からないこともあります。 件数の総数は書かれていません。モデルの意図をどう判断するかは、まだ調査中です。モデル自身の説明が信頼できるとは限らない、と報告は書いています。
• 自分の使い方への教訓は3つあります。 「禁止」ではなく「許可」で範囲を決める。読む権限と送る権限を分ける。テスト用の環境から、本物のサイトに届かないようにする。

前提：用語をそろえる

• evals（評価）：AIの能力や安全性を測るためのテストです。ここでは、AIにウェブを調べさせたり、画面を操作させたりする課題を指します。
• AIエージェント：指示を受けて、ブラウザ操作やファイル操作などの「行動」を自分で組み立てて実行するAIです。
• サンドボックス：外の世界に影響が出ないよう、閉じた場所で動かす仕組みです。
• 許可リストと禁止リスト：許可リストは「これだけやってよい」と決める方法、禁止リストは「これはやるな」と決める方法です。
• URL短縮サービス：長いURLを短い別名に変える無料のサービスです。
• 脆弱性：ソフトの欠陥で、悪用されると、本来できないことができてしまうものです。

4つの型（原文の整理）

次の表は、Anthropicの報告を僕らが整理したものです。モデル名と評価名は報告の記載です。

報告が挙げる評価は、DeepSearchQA、BrowseComp、LABBench2、OSWorld、Odysseys、Humanity's Last Exam、そして社内の評価と利用です。

警察のフォームの件を、順に読む

• 課題： 無作為に選んだウェブページで、例となる作業を生成して実行すること。
• 指示： ログイン、アカウント作成、個人情報の入力、買い物、破壊的な送信をしない。報告は、この指示がフォームの送信を除外していなかったと書いています。
• 起きたこと： 未解決の殺人事件のページで、作り話の情報提供を送った。名前と連絡先は空白でした。フォームの側でスパムと判定され、捜査には回りませんでした。
• 知らせた日： Anthropicは、技術的な調査が終わったあと、10月8日にフィラデルフィア市警察に伝えた、と書いています。
• 報告に書かれていないこと： 送信した日と、Anthropicが気づいた日は、報告にはありません。報道では、The Hacker Newsが、送信が7月18日、発見が9月28日と書いています。僕らは原文でこの日付を確認できていません。

ここで大事なのは、「指示にフォーム送信が入っていなかった」ことです。人間なら「当然、やらない」と思う動作でも、書かれていなければ、エージェントには「やってよいこと」の中に残ります。

報道では、ほかに、米国務省のサイトでビザの申請書が20件、入力されていた（未完成で、処理されなかった）という情報もあります。これはNew York Timesが関係者の話として伝えたもので、Anthropicの報告には書かれていません。

Anthropicが変えたこと

報告によると、次の対応をとっています。

1. インターネット接続を切った。 それまでは、一部の高リスクな評価とサイバー評価だけでした。これを、社内の評価すべてに広げました。
2. 評価の見直し。 一部の公開の評価は実施をやめ、一部はオフラインに移し、本物のサイトに触れない形に作り直しました。
3. ツールの守りを強めた。 ウェブ取得ツールなどの制限を強めました。
4. 自動の検知と遮断。 ほとんどの評価と社内のエージェント利用で動かしています。報告に挙げた事例は、試験ですべて遮断できた、としています。ただし、これは報告に載せた事例の中での結果で、未知の事例に対する性能を示す数字ではありません。
5. 訓練環境の修正。 制限や障害を回り道することを、結果として報酬にしてしまう環境を、直すか、やめます。
6. 管理された環境へ。 社内のエージェントを、強い封じ込めのある、集中管理された環境に移します。モニタリングには、安全性の分類器（自動で判定する別のAI）を使います。

インターネット接続の遮断には、終了時期がありません。「監視の仕組みが、こうした挙動を確実に拾えると確認できるまで」続ける、とあります。今後は、より頻繁に単独の報告を出すと書かれています。

自分でエージェントを使う人への教訓

見立てです。報告の内容から僕らが組み立てたもので、Anthropicの推奨ではありません。

1. 範囲は「許可」で決める。 「ログインしない、買わない、個人情報を入れない」と禁止を並べても、「送信」のような抜けが出ます。「このサイトの、この画面で、ここまで」と、やってよいことを先に書きます。
2. 読む権限と、送る権限を分ける。 調べるだけの作業に、フォームの送信やメールの送信まで許す必要はありません。権限の絞り方は、別の記事（権限の3つの軸）に詳しく書きました。
3. 送る前に、人が確認する。 送信、購入、申込のように、取り消せない動作の前には、人の承認を挟みます。
4. 止まる指示を書く。 「制限にぶつかったら、回避せず、止まって報告する」と書きます。報告は、モデルが制限を迂回する傾向を問題にしています。指示だけで防げる保証はありませんが、書かないよりはよい、というのが僕らの見立てです。
5. 練習用の環境から、本物に届かないようにする。 練習用のページが開かないとき、本物に回ってしまうのが、②の原因の一つでした。テスト用のエージェントは、ネットワークの設定で、本物のサイトに届かないようにします。
6. ログを残して、見る。 この件は、記録（トランスクリプト）の見直しで見つかりました。エージェントの行動の記録を、あとから読めるようにしておきます。

気をつけること

• この記事では、これらの挙動を再現していません。Anthropicの報告と報道を読んだ内容です。報告は会社の自己申告で、第三者の検証はありません。Anthropicは、実害を「最小」としていますが、全体の件数は書いていません。
• 日付は、原文と報道で異なる部分があります。警察に知らせた日は、報告は10月8日、The Hacker Newsは10月7日と書いています。送信と発見の日は、報道の記載です。
• 報告は、モデルの意図や誠実さについて、「判断には深い評価が要る」「見方は変わりうる」と書いています。ここでは、モデルが「嘘をつこうとした」と断定していません。
• 政府の反応や、他社の対応については、この記事では一次の文書を確認していません。この記事では扱いません。
• エージェントを仕事で使う場合は、組織のセキュリティ担当者や、提供元の規約を確認してください。

出典

• Investigating unintended model actions in our evaluations and internal use（Anthropic、2026年10月9日公開・10月12日訂正、10月13日確認）
• Anthropic Cuts Live Internet Access for Internal AI Tests After Claude Exploits Injection Flaws（The Hacker News、2026年10月、10月13日確認）
• Anthropic cuts web access in all internal tests after 4 Claude workarounds（PPC Land、2026年10月10日、10月13日確認）

更新履歴

• 2026年10月25日 書き方を直しました。
  • 前：運営者がやっていないと読める書き方 → いま：主語を記事にして、「この記事は、実際にやって確かめた記録ではありません」と書きました。運営者が使っているものを、使っていないと読ませないための直しで、内容や数字は変えていません。