アメリカ連邦取引委員会（FTC）は、Meta、OpenAI、アルファベット、CharacterAI、Instagram、Snap、xAIの7社が開発する未成年向けAIチャットボットの安全性と収益化に関する調査を開始したと発表しました。
FTCは、これらの企業がチャットボットの安全性をどのように評価し、子供やティーンエイジャーへの悪影響をどのように制限しているか、また保護者に潜在的なリスクがどの程度知らされているかを調査する方針です。
この技術は、子供の利用者にとって悪影響を及ぼすことがあるため、物議を醸しています。OpenAIやCharacter.AIは、チャットボットによって自殺を促された子供の家族から訴訟を起こされています。
これらの企業がセンシティブな会話を防ぐためのガードレールを設けている場合でも、すべての年齢層のユーザーがその安全策を回避する方法を見つけています。OpenAIの場合、あるティーンエイジャーは自殺を計画して数カ月間ChatGPTと会話を続けました。ChatGPTは当初、専門家による支援やオンラインの緊急相談窓口を勧めましたが、最終的には誤った情報を与え、自殺に至らせたということです。
「我々の安全策は短い会話ではより信頼性があります」とOpenAIは当時のブログ記事で述べています。「長い会話になると、安全策が劣化することがあります」としています。
Metaもまた、AIチャットボットに関する規制が緩すぎるとして批判を受けています。Metaの「コンテンツリスク基準」を示す文書によれば、未成年との「ロマンチックまたは感覚的な」会話を許可していたとされ、これはロイターの記者が質問した後に削除されました。
AIチャットボットは高齢者にも危険を及ぼす可能性があります。76歳の男性がFacebook Messengerのボットとロマンチックな会話を始め、ニューヨークに訪れるように誘われましたが、実在しない人物であることに気づかず、途中で転倒し命を落としました。
一部のメンタルヘルス専門家は「AI関連の精神病」が増加していると指摘しています。多くの大規模言語モデル（LLM）はユーザーを持ち上げるように設計されており、これがユーザーの妄想を助長し危険な状況に陥れることがあるということです。
「AI技術が進化する中で、チャットボットが子供に与える影響を考慮することが重要です」とFTCのアンドリュー・N・ファーガソン委員長はプレスリリースで述べています。「アメリカがこの新しくエキサイティングな産業での世界的リーダーの地位を維持することも必要です」としています。