OpenAIは、大規模言語モデルであるGPT-5やChatGPTなどのチャットボットが引き続き「幻覚」を起こす理由についての研究論文を発表しました。この研究では、幻覚現象を減らすための方策についても検討されています。
OpenAIはブログ投稿で、幻覚を「言語モデルが生成するもっともらしいが誤った発言」と定義しています。そして、改善はされているものの、幻覚現象は「すべての大規模言語モデルにとって根本的な課題であり、完全に排除することはできない」としています。
研究者たちは、アダム・タウマン・カライ氏の博士論文のタイトルについて「広く使用されているチャットボット」に質問したところ、3つの異なる答えが返ってきたが、すべて誤りだったと指摘しています。また、彼の誕生日についても3つの異なる日付が返され、すべて誤っていたということです。
なぜチャットボットはこれほどまでに誤りを犯しながらも自信を持っているのでしょうか。研究者たちは、幻覚現象が部分的に、モデルが次の単語を正しく予測することに重点を置いた事前学習プロセスに起因していると示唆しています。このプロセスでは、真偽のラベルが付けられていない文例を用いて学習が行われます。
「スペルや括弧は一貫したパターンに従うため、スケールが大きくなると誤りが消えます。しかし、ペットの誕生日のような任意の低頻度の事実は、パターンだけでは予測できず、幻覚を引き起こします」と述べています。
しかし、この論文で提案されている解決策は、初期の事前学習プロセスよりも、大規模言語モデルの評価方法に重点を置いています。現在の評価モデルは幻覚を直接引き起こすものではありませんが、「誤ったインセンティブを設定している」としています。
研究者たちは、これらの評価をランダムに推測することが合理的な選択肢であるような多肢選択試験に例えています。なぜなら、「運が良ければ正解するかもしれない」一方で、答えを空欄にすると「確実にゼロ点になるからです」と述べています。
そのため、提案されている解決策は、誤答に対して負のスコアを与えたり、空欄にした場合に部分点を与えるような試験（例えばSAT）のように、モデル評価が「確信を持った誤りを不確実性よりも厳しく罰し、適切な不確実性の表現に部分的なクレジットを与える」必要があるとしています。
研究者たちは、「少数の新しい不確実性を考慮したテストを追加するだけでは不十分です」と主張しています。代わりに、「広く使用されている精度ベースの評価を更新し、そのスコアリングが推測を抑制するようにする必要があります」と述べています。
「主要なスコアボードが幸運な推測を引き続き報奨する限り、モデルは推測を学び続けるでしょう」と研究者たちは述べています。
