OpenAIは、ChatGPTに暴力に関わるコンテンツへの新たな制限を数週間以内に追加すると発表しました。会話が暴力や他者への重大な危害を巡って続いた場合、AIが自ら会話を終了できるようにします。同じアカウントがこの種の問題で繰り返し遮断された場合は、アカウント停止の対象にもなります。
ポイント
- ChatGPTが暴力を巡る会話を自ら終了できる新機能を追加
- 違反を繰り返したアカウントは停止措置の対象に
- 全年齢のユーザーに適用され、成人も例外ではない
- 18歳未満には武器や防犯システムの実用情報も追加で遮断
- 改良版の年齢予測機能も同時に導入
受動的な拒否から能動的な中断へ
ChatGPTはもともと、暴力の計画や実行を助ける案内の提供を禁じていました。今回の変更は、これに加えてAI側から会話を打ち切る仕組みを運用に取り入れるものです。OpenAIは、危険なコンテンツへの対応を「回答を拒否する」段階から「会話を中断する」段階へ進める方針です。
過去の襲撃事件への回答を制限
新しいルールはすべてのユーザーに適用され、成人であっても例外にはなりません。重点が置かれるのは、過去の襲撃事件に関する回答の範囲です。モデルは安全の観点から詳細を減らし、場合によっては回答を拒否します。対象には、襲撃で使われた武器や装備、入手経路が含まれます。加害者の知名度を高めるおそれのある死傷者数の比較も制限されます。
成人ユーザーも回答を拒否されることがありますが、武器や防犯システムに関する実用的な情報の遮断が新たに加わることはないとしています。
18歳未満への追加制限
18歳未満と判定されたアカウントには、暴力行為に使える武器や防犯システムの実用情報を追加で遮断します。質問の表面から暴力の意図が読み取れない場合でも適用されます。
一方で10代の若者は引き続きChatGPTに助けを求めることができ、暴力を防いだり和らげたりする方法や、信頼できる大人への連絡は遮断の対象ではありません。
あわせて導入される改良版の年齢予測は、ユーザーの行動など複数の情報を組み合わせ、アカウントが未成年である可能性を継続的に判断します。必要に応じて青少年向けの保護を自動で適用する仕組みです。誤って判定された場合は、本人が身元情報を提出して確認を求めることもできます。
