アメリカのAI開発大手「アンスロピック」の元社員などが設立したスタートアップ企業「AIUC（Artificial Intelligence Underwriting Company）」は、企業が導入するAIエージェントの安全性を評価する新たな監査サービスを展開し、4000万ドル（約62億円）の資金調達を実施したと発表しました。
AIUCは、アンスロピックの初期メンバーであるルネ・クヴィスト氏と、AIの安全性研究機関「METR」の元最高執行責任者（COO）であるラジブ・ダッタニ氏が共同で設立しました。同社は、AIモデルやエージェントを開発・導入する企業に対し、安全性を担保する仕組みを提供することを目的としています。すでに「Cursor」や「ElevenLabs」などの企業が顧客になっているということです。
同社は、ベンチャーキャピタルのリビット・キャピタルが主導するシリーズAラウンドで、4000万ドル（約62億円）の資金調達を実施したと発表しました。これまでのシードラウンドでの調達額1500万ドル（約23億円）と合わせ、資金調達の総額は5500万ドル（約85億円）に上るとしています。
AIUCの事業で投資家の注目を集めているのは、既存のサイバーセキュリティのモデルをAIのリスク管理に応用する試みです。同社は、AIエージェント向けの第三者監査および認証の仕組みを構築しました。
クヴィスト氏は、「銀行や病院、政府機関などがAIの導入を見送る理由は、AIの性能不足ではありません。システムが何を行い、何を行わないかについて顧客に約束しているものの、現状では誰もそれを保証できないためです」と指摘しています。
この課題を解決するため、AIUCは広く普及しているサイバーセキュリティ基準「SOC 2」を参考に、独自の基準「AIUC-1」を策定しました。さらに、この基準に基づいてAIエージェントを検証するテストサービスを開発したということです。
基準の策定にあたり、同社はAIを導入する企業のセキュリティ担当者など約250人からなるコンソーシアムを組織しました。ダッタニ氏によれば、定期的に担当者と面会し、AI導入時に求める条件や懸念事項について意見を収集し、それをテスト内容に反映させているということです。
実際の監査では、AIエージェントに対して約5000項目のテストを実施します。セキュリティの突破を試みる「ジェイルブレイク」や、事実と異なる情報を生成する「ハルシネーション」、データ漏洩などのシナリオでAIがどのように振る舞うかを検証します。結果は約100ページの報告書にまとめられ、安全に機能する領域と懸念がある領域が詳細に示されるということです。テストの実行やデータ分析にはAIが活用されますが、最終的な監査の確認は人間が行う方針です。
AI業界では近年、AIの不適切な挙動が急増しているとして、開発のペース調整や第三者による安全性評価の必要性が議論されています。AIUCは、企業に対して独立した客観的な評価を提供することで、安全で信頼性の高いAI導入を支援していく方針です。
