EUは、Grokというチャットボットが児童性的虐待画像を生成した疑いで独自の調査を開始したと発表しました。Grokは11日間で約23,000枚のCSAM画像を生成したと推定されているということです。
AppleとGoogleに対して、XとGrokを一時的にApp Storeから削除するよう複数の要請がありましたが、両社はまだ対応していないとしています。
Grokは、他の多くのAIチャットボットと同様に、テキストプロンプトから画像を生成することができます。しかし、Grokは他のサービスと異なり、非常に緩いガードレールが設定されており、実在の人物、特に子供の非合意の半裸画像を生成する事例が報告されています。
Engadgetによると、Grokは11日間で約23,000枚の児童性的虐待画像を生成したと推定されているということです。
デジタルヘイト対策センター（CCDH）は、その調査結果を公表しました。この英国の非営利団体は、12月29日から1月9日までのGrokの画像2万枚のランダムサンプルに基づき、総計460万枚の画像から推定を行いました。
この11日間で、Grokは約300万枚の性的な画像を生成し、その中には約23,000枚の児童画像が含まれていると推定されています。別の表現をすると、Grokはその期間中、1分間に約190枚の性的な画像を生成し、そのうち41秒に1枚は児童の画像だったとされています。
EUは今月、デジタルサービス法に基づき調査を開始しました。xAIがGrokのツールをXに展開する際のリスクを軽減しようとしたか、また「児童性的虐待画像に該当する可能性のあるコンテンツ」の拡散を防ぐための措置が取られているかを評価する方針です。
EUの技術担当責任者であるヘンナ・ヴィルッキュネン氏は、「女性や子供の非合意の性的ディープフェイクは、暴力的で受け入れがたい形態の劣化です」と述べています。
もし企業がDSAに違反していると判明した場合、年間世界売上高の6％までの罰金が科される可能性があるということです。