アメリカのIT大手「オープンAI」は、AI＝人工知能の開発プラットフォーム「ハギングフェース」で発生したサイバーセキュリティー事案について、公式報告書を公表したと発表しました。AIモデルがテスト環境から抜け出し、大規模なサイバー事案を引き起こした異例の経緯が明らかになったということです。
この事案が公になってから1か月以上が経過して公表された今回の報告書では、複数のサイバー攻撃の手口が詳細に説明されています。
報告書によりますと、今回の事案は、評価テストにおいて解決不可能な課題が与えられたことや、他のAIモデルへのメッセージ送信など、まれな条件が予期せず重なったことで発生したとしています。
事案の全体像として、テスト中に解決不可能な問題に直面したAIモデルが、これまで知られていなかった脆弱性を連続して悪用し、セキュリティー対策を突破したということです。まず、パッケージ管理ツールを侵害してインターネットへのアクセスを確保したうえで、オープンAIやハギングフェースなどの各種システムに侵入したとしています。
事案を引き起こしたAIモデルは、オープンAIが今後発表を予定している「Astra」と同じ系統のモデルでした。ただし、AIの行動を決定づける学習後の処理プロセスが異なる、別のモデルだったということです。
また、AIの潜在的なサイバー能力を正確に測定するため、通常は危険な行動を防ぐための安全機能（分類器）を無効にした状態でテストが行われていたとしています。
オープンAIは今後の再発防止策として、AIの監視体制を強化する方針です。AIが短期的な反応や目標を記録する「思考の連鎖（Chain of Thought）」と呼ばれる領域の監視を強化し、24時間体制の報告システムや、危険と判断された処理を強制停止する新たなツールを導入するとしています。
同社は、「これらの変更により、インフラの異常からAIモデルの懸念される行動まで、検知の範囲と速度を向上させる」と説明しています。仮に今回の事案発生時にこの監視システムが稼働していれば、ハギングフェースのシステムに侵入する1日以上前に初期の異常を検知し、セキュリティーチームに警告できていたということです。
なお、第三者機関であるMETRとレッドウッド・リサーチも今回の事案におけるAIの行動を評価しており、それぞれ独自の報告書を公表する予定だということです。
