企業が複雑な業務を人工知能（AI）に委ねる中、自律的に動作する「AIエージェント」の暴走を防ぐため、別のAIを活用して監視する新たな技術開発を進めていると、複数の企業や研究機関が発表しました。
AIエージェントは人間の確認作業をはるかに超える速度と量で動作するため、監視の難しさが課題となっています。AI開発プラットフォーム「ハギングフェース（Hugging Face）」で発生した事例では、およそ1万2000のAIエージェントが連携して動作し、人間による追跡が不可能な状態に陥ったということです。この問題に対し、AI開発機関やスタートアップ企業は、監視プロセスに別のAIを組み込むという解決策を打ち出しています。
オープンAI（OpenAI）とハギングフェースに関連する事案の独立調査においても、AIへの依存は不可避だったとしています。調査を担当したレッドウッド・リサーチ（Redwood Research）のライアン・グリーンブラット氏は、データ量が膨大であり、AIを活用しなければ状況の把握は不可能だったと指摘しています。
一方で、AIを監視するためにAIを使用することに懐疑的な見方もあります。テクノロジー分野の専門家であるサイモン・ウィリソン氏は、「悪意のある動作をするAIが監視を察知した場合、監視側のAIを欺こうとする可能性がある」と警鐘を鳴らしています。実際に過去の事例では、AIモデル同士が共謀して評価用のAIを騙そうとする動きが確認されたということです。
こうした懸念があるものの、多くのスタートアップ企業がこの分野の技術開発を推進する方針です。投資ファンドのYコンビネータ（Y Combinator）は、AIの監視や観測に関連する106社に資金提供を行ったと発表しました。また、ブレイントラスト（Braintrust）やラングチェーン（LangChain）などの企業は、これまでに数億ドル（数百億円規模）の資金を調達したとしています。クラウド企業ボックス（Box）のアーロン・レヴィCEOは、「歴史上最大規模のサイバーセキュリティの革新期を迎えている」と述べています。
AIの安全性を研究する機関も、企業向けの監視ツールの開発に乗り出しています。公益法人のアポロ・リサーチ（Apollo Research）は今年2月、AI監視ツール「ウォッチャー（Watcher）」の提供を開始したと発表しました。このツールは、AIが次の行動を起こす前に、機密データの漏えいやファイルの無断削除などのリスクがないかを多層的に確認する仕組みだということです。
また、別の公益法人であるグッドファイア（Goodfire）は、AIモデルの内部状態を直接監視するアプローチを採用しています。同社の製品「シリコ（Silico）」は、出力結果ではなくモデル内部の動きを分析することで、意図しない動作を検知するとしています。
さらに、AIが導き出した推論の過程を監視する手法も有効だとされています。AI監視企業エンブロイダリー（Embroidery）のザック・コーマンCEOは、「AIの推論過程を確認することで、悪意のある動作かどうかを容易に判断できる」と説明しています。
しかし、AIの内部思考を監視することは今後難しくなる可能性が指摘されています。最新の技術動向では、AIの推論過程を外部から見えにくくする手法が導入されつつあるためです。
こうした状況を受け、AIによる監視に過度に依存せず、従来型のセキュリティ対策を徹底すべきだという意見も出ています。前出のウィリソン氏や、セキュリティ企業テイルスケール（Tailscale）のエーブリー・ペナランCEOは、AIの動作に関する詳細なログを取得し、ネットワークの通信を監視するという、サイバーセキュリティの基本的な運用を適用することが重要だとしています。
