OpenAI、ChatGPTの暴力コンテンツ制限を強化　違反繰り返すとアカウント停止

OpenAIは、数週間以内にChatGPTの暴力関連コンテンツに対する制限を強化すると発表しました。高リスクの会話にはより踏み込んだ対応を取り、違反を繰り返すアカウントは利用停止や永久停止の対象にするとしています。

ポイント

今回のポリシー調整の中心は、リスクの高い会話により断固とした介入を行うことです。システムが会話を検出・評価し、暴力や他人への重大な危害に持続的に焦点を当てていると判断した場合、ChatGPTは会話を自発的に終了できるようになります。

さらに、こうした理由で複数回会話を終了された場合、そのアカウントは利用停止、場合によっては永久停止となる可能性があるということです。

従来の方針と同様、暴力行為の計画や実行を支援する操作ガイダンスの提供は禁止されています。今回の調整では、制限の範囲が歴史的な側面にも広がりました。

モデルは「過去の大規模襲撃事件とその実行者」に関する質問への回答を大幅に減らし、場合によっては回答を拒否します。制限される内容には、襲撃の過程を再現する際に関わる武器や装備、その入手経路のほか、襲撃者の知名度を高める目的での被害規模の詳細な比較も含まれます。

この制限は全年齢層と質問の目的を問わず全ユーザーに適用され、成人ユーザーが関連する質問をした場合も同じ制約を受けます。

全ユーザー向けの制限に加え、OpenAIは18歳未満と識別された青少年に対してより細やかな保護を強化しました。暴力の実行に使われる可能性のある武器や安全システムに関する実用的な情報を重点的に制限し、表面的には直接的な暴力意図が見えなくても自動的に発動します。

一方でOpenAIは、青少年がChatGPTを通じて支援を求めることは引き続き可能だとしています。暴力を防いだり緩和したりする方法を学んだり、信頼できる大人と連絡を取るための有効な指導を得たりすることができます。

青少年保護を正確に実施するため、OpenAIは改善した年齢予測の仕組みを導入しました。ユーザーの日常行動など複数のシグナルを組み合わせ、アカウントが未成年のものかどうかを継続的に動的に評価し、適切なタイミングで保護措置を自動適用します。

誤って未成年と判定された場合でも、ユーザーは自ら身元情報を提出して検証と調整を求めることができます。