AI技術の導入が進む中、AIがもたらすリスクが大きすぎて保険が提供できない可能性があると、保険業界の関係者が指摘しました。フィナンシャル・タイムズの報道によれば、主要な保険会社であるAIG、グレート・アメリカン、WRバークリーなどが、アメリカの規制当局に対してAI関連の責任を企業保険から除外する許可を求めているということです。
あるアンダーライターは、AIモデルの出力が「ブラックボックスすぎる」とFTに述べています。保険業界が警戒するのには理由があります。例えば、グーグルのAIオーバービューが誤ってある太陽光発電会社に法的トラブルがあると報じ、3月には1億1000万ドル（約170億円）の訴訟を引き起こしました。また、昨年エア・カナダはチャットボットが作り出した割引を適用せざるを得なくなりました。さらに、昨年ロンドンのデザインエンジニアリング会社アラップでは、偽の役員のデジタルクローンを使った詐欺で2500万ドル（約390億円）が盗まれました。
保険業界が本当に恐れているのは、一度の大規模な支払いではなく、広く使用されているAIモデルが誤作動を起こした際に発生する数千件の同時請求のシステミックリスクです。Aonの幹部は、保険会社は1社に対して4000万ドル（約620億円）の損失に対応できるが、1万件の損失を同時に引き起こすAIの誤作動には対応できないと述べています。
