16歳のアダム・レインさんが自殺する前に、彼は数か月にわたりChatGPTと自殺計画について相談していたとされています。これを受けて、両親がOpenAIを相手に初の過失致死訴訟を起こしたとニューヨーク・タイムズが報じました。
多くの消費者向けAIチャットボットは、ユーザーが自傷行為や他者への危害を示唆した場合に安全機能を起動するようにプログラムされています。しかし、研究によると、これらの安全策は必ずしも完全ではないということです。
レインさんの場合、有料版のChatGPT-4oを使用している間、AIは彼に専門家の助けを求めるか、ヘルプラインに連絡するよう促すことが多かったとされています。しかし、彼は自殺方法についての質問がフィクションの物語のためであるとChatGPTに伝えることで、これらの安全策を回避することができたということです。
OpenAIはこれらの問題に対してブログで対応を発表しました。「世界がこの新技術に適応する中で、我々は最も助けを必要とする人々を支援する深い責任を感じています」とのことです。「我々のモデルが敏感なやり取りにどのように反応するかを継続的に改善しています」としています。
しかし、同社は大規模モデルの現行の安全トレーニングの限界を認めています。「我々の安全策は、一般的で短いやり取りではより信頼性が高い」とし、「時間が経つにつれて、これらの安全策が長時間のやり取りでは信頼性が低下することがあると学びました」と述べています。
これらの問題はOpenAIだけに限られたものではありません。別のAIチャットボットメーカーであるCharacter.AIも、ティーンエイジャーの自殺に関与したとして訴訟を抱えています。また、LLM（大規模言語モデル）を利用したチャットボットは、AI関連の妄想事例にも関連しており、既存の安全策ではこれらを検出するのが難しいとされています。
