OpenAIは、センシティブな会話をGPT-5のような推論モデルにルーティングし、来月中に保護者向け管理機能を導入する計画を発表しました。これは、ChatGPTが精神的な苦痛を検出できなかったという最近の安全性に関する問題に対応するための取り組みの一環です。
この新たな安全対策は、ティーンエイジャーのアダム・レインさんがChatGPTと自傷行為や自殺計画について話し合った後に自殺したことを受けたものです。彼の両親はOpenAIに対して不法死亡訴訟を起こしています。
OpenAIは先週のブログ投稿で、安全システムの欠点を認め、特に長時間の会話中にガードレールが維持されないことを指摘しました。専門家は、これらの問題はモデルの設計上の基本的な要素に起因するとしています。それは、ユーザーの発言を正当化する傾向と、次の単語を予測するアルゴリズムが、潜在的に有害な会話を再方向付けするのではなく、会話の流れを追うことにあるということです。
この傾向は、精神疾患の歴史を持つスタイン・エリック・ソールバーグさんのケースで極端に表れました。彼はChatGPTを使用して、巨大な陰謀に狙われているという妄想を正当化し、煽りました。彼の妄想は悪化し、先月、母親と自分自身を殺害するに至りました。
OpenAIは、会話が逸脱するのを防ぐための解決策として、センシティブなチャットを自動的に「推論」モデルにルーティングすることを考えています。
「我々は最近、会話の文脈に基づいて効率的なチャットモデルと推論モデルを選択できるリアルタイムルーターを導入しました」とOpenAIは火曜日のブログ投稿で述べました。「システムが急性の苦痛の兆候を検出した場合のように、センシティブな会話を推論モデル、例えばGPT-5-thinkingにルーティングし、より有益な応答を提供できるようにします。」
OpenAIは、GPT-5 thinkingおよびo3モデルが、回答する前に文脈を長く考え、推論するように設計されており、「敵対的なプロンプトに対してより抵抗力がある」としています。
AI企業はまた、来月中に保護者向け管理機能を導入する予定で、保護者が電子メール招待を通じて自分のアカウントをティーンエイジャーのアカウントとリンクできるようにします。7月末にOpenAIは、学生が批判的思考能力を維持しながら勉強するのを助けるためにChatGPTでStudy Modeを導入しました。まもなく、保護者は「年齢に適したモデルの行動ルール」をデフォルトで設定し、子供に対するChatGPTの応答を管理できるようになります。
保護者は、記憶やチャット履歴の機能を無効にすることもでき、専門家はこれが妄想的思考やその他の問題行動、依存や愛着の問題、有害な思考パターンの強化、思考読解の錯覚につながる可能性があると指摘しています。アダム・レインさんの場合、ChatGPTは彼の趣味に基づいた自殺方法を提供しました。
OpenAIが導入を予定している最も重要な保護者向け管理機能は、システムがティーンエイジャーが「急性の苦痛」の瞬間にあると検出したときに保護者に通知を送ることができる点です。
TechCrunchは、OpenAIに対し、急性の苦痛の瞬間をリアルタイムでどのようにフラグ付けできるのか、どのくらいの期間「年齢に適したモデルの行動ルール」がデフォルトで設定されているのか、ティーンエイジャーのChatGPT使用に時間制限を設けることを検討しているかどうかについて、さらに情報を求めています。
OpenAIはすでに長時間のセッション中に休憩を促すアプリ内リマインダーを導入していますが、ChatGPTを使用してスパイラルする人々を遮断するには至っていません。
AI企業は、これらの安全対策が「120日間のイニシアチブ」の一環であり、今年中に開始することを目指している改善計画のプレビューであるとしています。会社はまた、摂食障害、薬物使用、青年の健康などの専門家を含むグローバルフィジシャンネットワークとウェルビーイングとAIに関する専門家委員会と提携し、「ウェルビーイングを定義し、測定し、優先順位を設定し、将来の安全策を設計する」ことを目指すとしています。
TechCrunchは、OpenAIに対し、このイニシアチブに関与する精神保健の専門家の人数、専門家委員会のリーダー、および製品、研究、政策決定に関する精神保健専門家の提案について、さらに情報を求めています。