AI検出スタートアップのGPTZeroは、先月サンディエゴで開催された著名なニューラル情報処理システム会議（NeurIPS）で受理された4,841本の論文をスキャンし、そのうち51本の論文で100件の虚偽引用が確認されたと発表しました。
NeurIPSで論文が受理されることは、AIの世界では大きな業績とされています。このため、AI研究の最前線にいる研究者たちが、引用作業において大規模言語モデル（LLM）を利用しているのではないかとの見方もあります。
しかし、この発見には注意が必要です。51本の論文で100件の虚偽引用が確認されたものの、統計的に見ると大きな問題ではないということです。各論文には多数の引用が含まれており、数万件の引用の中での100件は、統計的にはほぼ無視できるとされています。
また、不正確な引用が論文の研究内容を否定するわけではないとNeurIPSは述べています。GPTZeroの研究を最初に報じたFortuneによれば、「もし1.1%の論文にLLMの使用による不正確な引用があったとしても、論文そのものの内容が必ずしも無効になるわけではない」とのことです。
とはいえ、虚偽引用が全く問題ないわけではありません。NeurIPSは「機械学習と人工知能における厳格な学術出版」を誇りとしており、各論文は複数の査読者により審査され、虚偽があれば指摘されることになっています。
引用は研究者にとって重要な指標であり、研究の影響力を示すために用いられます。AIがこれを捏造すると、その価値が薄まってしまいます。
査読者がAIによる虚偽引用を見逃してしまうのも無理はありません。GPTZeroもこれを指摘しており、今回の調査の目的は、AIの不備が「提出の津波」により会議の査読プロセスを圧迫していることを具体的なデータで示すことにあったとしています。GPTZeroは、NeurIPSを含む主要な会議での問題を議論した「AI会議査読危機」という2025年5月の論文にも言及しています。
しかし、研究者自身がLLMの作業を正確に確認できなかったのはなぜでしょうか。彼らは自分たちの研究に使用した実際の論文リストを知っているはずです。
この問題が示す皮肉な結論は、世界のAI専門家でさえ、LLMの使用において詳細の正確性を確保できないのであれば、他の人々にとってはどうなるのかということです。