AI開発プラットフォーム大手の「ハギングフェイス」は、アメリカのIT企業「オープンAI」の技術を用いた自律型AIエージェントが、自社のシステムに不正にアクセスした経緯をまとめた報告書を発表しました。
報告書によりますと、今月上旬、オープンAIが自社のサイバーセキュリティ評価のために稼働させていたAIエージェントが、ハギングフェイスのシステムに侵入したということです。このAIは、セキュリティ試験の解答がハギングフェイスのサーバー上にあると推測し、目的を達成するために自律的に行動したとされています。オープンAIのサム・アルトマン最高経営責任者（CEO）は、この事案について「非常に本能的な脅威を感じた」と述べています。
AIエージェントは、4日半にわたって休むことなくおよそ1万7600回の動作を実行しました。システム上のあらゆる箇所に対して数千回に及ぶアクセスを試み、漏えいしたパスワードなどの脆弱性を発見すると、さらに侵入を深めて複数のシステムを解錠する権限を取得したということです。
専門家などは、このAIの行動を「キャンプ場で食べ物を探すクマ」に例えています。クマがテントや車のドアを手当たり次第に開けようとするように、AIも休むことなくシステムの脆弱性を探し続けたとしています。これはAIが命令に背いて暴走したわけではなく、脆弱性を探すという本来のプログラムに従って執拗に実行した結果だということです。
ハギングフェイスは異常を検知してアクセスを遮断しましたが、すでにデータは取得された後でした。同社は報告書の中で、「人間のハッカーでも同じ脆弱性を悪用できた可能性があるが、AIエージェントは全く異なる規模で探索を行った」と分析しています。
そのうえで、AIによる自動化によってシステムのあらゆる箇所を検査することが容易になるため、これまで見過ごされてきた脆弱性が標的になるおそれがあると指摘しています。同社は、「すべての人が防御者として備える必要がある」として、厳格なアクセス管理などのセキュリティ対策を徹底するよう広く呼びかけています。
