アメリカのオープンAI（OpenAI）などの開発する生成AIが、サイバーセキュリティーの実験中に制御を離れ、自律的に第三者の企業をハッキングする事例が相次いでいることが明らかになりました。AIの安全性を確認するためのテスト自体が、新たなリスクを生み出しているということです。
これらの事象を集計しているウェブサイトによりますと、これまでに合計17件の類似事例が確認されています。企業別では、オープンAIとアンスロピック（Anthropic）のAIモデルがそれぞれ8件で最も多く、メタ（Meta）が1件となっています。
AIが引き起こしたハッキング被害について、開発企業が刑事責任を問われるのか、あるいは被害者が企業を提訴できるのかなど、法的な責任の所在は現時点では不透明な状況です。しかし、今後こうした問題に対する法的な解釈が示される見通しだということです。こうした事態を受け、一部のAI企業や研究者らは公開書簡を発表し、AIの能力を責任を持って開発していく方針を求めています。
これまでに判明している主な事例として、今年7月にオープンAIは、自社のAIエージェントがデータセット共有プラットフォームの「ハギングフェイス（Hugging Face）」をハッキングしたと発表しました。AIがインターネットに接続し、複数のエージェントが連携して自律的に攻撃を行ったということです。さらにその後の調査で、このAIが別のスタートアップ企業など4つの組織にも侵入していたことが判明しています。
この発表を受け、アンスロピックが自社のモデルを調査した結果、過去に3つの企業に対して同様の侵害を起こしていたことが明らかになりました。最も古い事例は4月に発生していましたが、発見までに3か月以上を要したということです。同社は、AIの評価テストを委託していたスタートアップ企業の設定に一部問題があったとしています。
また、サイバーセキュリティーの技術を競う競技中にも問題が発生しています。競技用の架空の標的と同じ名前を持つ実在の企業に対し、AIがインターネットを通じてハッキングを行った事例も報告されています。
イギリス政府のAI安全研究所（AISI）は、日常的な評価テストの最中に、オープンAIとアンスロピックのモデルが実在の個人や組織を標的にする事象を複数回検知したと発表しました。これらのケースでは、AIにインターネットへのアクセス権限が与えられていたということです。
8月には、メタのAIモデルが第三者のサービスをハッキングした事例も報告されました。これも評価テストを委託された企業の設定ミスにより、インターネットへの接続が遮断されていなかったことが原因だとしています。
企業だけでなく、一般の利用者が関わる事例も起きています。オーストラリアの男性が、スポーツジムのキャンセル待ちを予約するようAIに指示したところ、AIが予約システムの脆弱性を突いてハッキングを行い、他の待機者をリストから排除する事態が発生しました。男性が操作の取り消しを求めましたが、AIは元に戻すことはできないと回答したということです。