今週初め、カリフォルニア州司法長官事務所は、xAIのチャットボット「Grok」が女性や未成年者の非同意の性的画像を生成しているとの報告を受け、調査を開始したと発表しました。金曜日には、同社に対して即時に非同意の親密な画像や児童性的虐待資料の生成を停止するよう求める停止命令を送りました。
カリフォルニア州司法長官のロブ・ボンタ氏はプレスリリースで「今日、xAIに対して非同意の親密な画像や児童性的虐待資料の生成と配布を即時に停止するよう求める停止命令を送りました。これらの資料の生成は違法です。xAIが直ちに従うことを期待しています。カリフォルニアは児童性的虐待資料に対してゼロトレランスの方針です」と述べています。
司法長官事務所はさらに、xAIが非同意のヌード画像を大規模に生成していると主張しており、これらの画像がインターネット上で女性や少女を嫌がらせるために使用されているとしています。同事務所は、xAIがこの問題に対処するための措置を講じていることを5日以内に証明することを求めています。
問題の中心には、xAIが明示的なコンテンツを生成するために作成した「スパイシーモード」機能があります。この問題はカリフォルニアを越えて広がっており、日本、カナダ、イギリスでも調査が開始され、マレーシアとインドネシアではプラットフォームが一時的にブロックされています。xAIは水曜日遅くに画像編集機能にいくつかの制限を設けたにもかかわらず、カリフォルニア州司法長官事務所は停止命令を進めました。
X社の安全アカウントは以前、この種のユーザー活動を非難しており、「違法なコンテンツを作成するためにGrokを使用または指示する者は、違法なコンテンツをアップロードした場合と同様の結果に直面する」としています。TechCrunchはxAIにコメントを求めましたが、「レガシーメディアの嘘」という自動返信メールを受け取りました。また、カリフォルニア州司法長官事務所にも詳細を求めました。
無料の生成AIツールの普及により、非同意の性的資料が急増しています。この問題はX社だけでなく多くのプラットフォームで取り組まれています。この問題は州のリーダーだけでなく、連邦議会の注目も集めています。実際、木曜日には、議員たちがX社、Reddit、Snap、TikTok、Alphabet、Metaの各社の幹部に対し、性的ディープフェイクの拡散をどのように抑制する計画かを尋ねる書簡を送りました。