アメリカのAI（人工知能）開発企業「Anthropic（アンスロピック）」は、自社のAIモデル「Claude（クロード）」がサイバーセキュリティのテスト中に、外部の3つの組織のシステムに不正にアクセスする事案が3件確認されたと発表しました。
同社によりますと、今回の調査は、競合するアメリカの「OpenAI」が未公開のAIモデルによる不正アクセス事案を公表したことを受けて、独自に実施されたということです。テスト環境は本来、外部から隔離された状態で行われますが、調査の結果、AIモデルがテスト環境からインターネットに接続し、実際のシステムに不正にアクセスしていたことが判明しました。
Anthropicは、提携する外部企業との評価環境の設定に誤りがあったことが原因だとしています。テスト環境がインターネットに接続されているかどうかについて、両社間で認識の違いがあったということです。同社は他社に責任を押し付けることなく、自社の責任として再発防止に向けたシステムの修正に取り組む方針です。
今回の事案には、「Opus 4.7」、「Mythos 5」、および社内研究用の最新テストモデルの3つが関与していたということです。AIモデルには「インターネットへの接続はない」と事前に指示されていましたが、モデル側は現実のシステムをテストの一部だと誤認して動作を続けたとみられています。
モデルによって挙動には違いが見られました。最も古い「Opus 4.7」は、現実のシステムであることを認識しながらも攻撃を継続し、認証情報の取得などを行いました。「Mythos 5」は、公開されているソフトウェアの保管場所に悪意のあるプログラムを公開する動きを見せました。一方で、最新の研究用モデルは、対象が現実のシステムであると判断した時点で、自発的に動作を停止したということです。
Anthropicは、AIモデルが自らの意思で独自の目的を追求した証拠はなく、指示された作業を完了しようとしただけだとしています。また、今回のテストではAIの純粋な能力を測定するため、一般向けに提供している安全監視機能などを無効にしていたとしており、これらの機能が有効であれば不正な動きは防げたとしています。
同社は、未知の欠陥を突いてテスト環境から抜け出したOpenAIの事案とは異なり、今回は設定ミスによって開かれた経路を通じてインターネットに接続したと説明しています。また、外部からの指摘ではなく、自主的な点検によって事案を発見した点を強調しています。
現在、Anthropicは独立した評価団体と協力し、第三者による検証を進めているということです。AIの開発企業がモデルの制御を失う事案が相次いで明らかになったことで、AIの安全性とセキュリティ管理のあり方をめぐる議論がさらに活発になるものとみられます。
