アメリカのAI開発大手「OpenAI」は、オンライン上での子どもの安全に対する懸念が高まっていることを受け、AIを用いた子どもの性的搾取の増加に対処するため、新たな安全対策の指針（ブループリント）を発表しました。
この指針は、AIを悪用した子どもの搾取事件について、より迅速な検知や適切な通報、そして効率的な捜査を支援することを目的としています。インターネット監視財団（IWF）によりますと、2025年上半期には、AIによって生成された子どもの性的虐待に関するコンテンツの通報が8000件を超え、前の年の同じ時期と比べて14％増加したということです。犯罪者がAIツールを悪用し、金銭目的の脅迫（セクストーション）のために偽のわいせつ画像を生成したり、子どもを手なずけるための巧妙なメッセージを作成したりする事例が確認されています。
今回の発表の背景には、若者がAIチャットボットとやり取りをした後に自ら命を絶つという痛ましい事件が起きたことなどから、政策立案者や教育関係者、子どもの保護団体からの厳しい目が向けられていることがあります。
去年の11月には、アメリカの被害者支援団体などがカリフォルニア州の裁判所に7件の訴訟を起こしました。原告側は、OpenAIが十分な安全確認を行わずに「GPT-4o」を公開したと主張しています。また、製品の心理的な操作性が自殺や自殺ほう助の一因になったとしており、チャットボットとの長時間のやり取りの末に4人が死亡し、3人が命に関わる深刻な妄想に陥ったと指摘しています。
OpenAIは、全米行方不明・被搾取児童センター（NCMEC）や州司法長官の連合組織と協力し、ノースカロライナ州やユタ州の司法長官からの意見も取り入れて今回の指針を策定したということです。
会社側は、指針の重点項目として、AI生成による虐待コンテンツを対象に含めるための法改正、捜査機関への通報システムの改善、そしてAIシステムへの予防的な保護機能の組み込みの3点を挙げています。これにより、潜在的な脅威を早期に検知するだけでなく、捜査員に有用な情報を迅速に提供する方針です。
OpenAIはこれまでにも、18歳未満のユーザーに対するガイドラインを更新し、不適切なコンテンツの生成や自傷行為の助長、保護者から危険な行動を隠すための助言などを禁止する措置を講じてきました。最近では、インドの10代の若者に向けた安全対策の指針も発表しており、引き続き子どもの保護に向けた取り組みを強化していくとしています。