アメリカのIT企業「オープンAI」の元社員らが、生成AI（人工知能）が特定の人物についてどれだけの知識を記憶しているかを測定し、数値化する新たなウェブサイト「In the Weights」を公開したと発表しました。
このウェブサイトは、トーマス・ディムソン氏とジョーイ・フリン氏が開発したということです。サイト名の「ウェイト（重み）」は、AIモデルの学習や出力を形成する数値を指しています。外部のウェブ検索機能を使わずに、AIが特定の人物をどれだけ正確に認識できるかを測定するとしています。サイト上では、「ウェイトに含まれるということは、超人的な人工知能を構築する過程で、その人の存在が重要だとみなされたことを意味する」と説明されています。
具体的な仕組みとして、「Grok」や「Gemini」、「GPT」、「Claude」などの複数のAIモデルに対して特定の人物名を質問します。その結果として得られた説明文を分析し、「強さ」を示すスコアを算出するということです。スコアはランキング形式で表示され、著名な俳優や歌手などが上位に名を連ねています。また、AIが事実とは異なる情報を生成する「ハルシネーション」と呼ばれる現象の可能性も確認できるとしています。
開発の背景について、ディムソン氏は「将来的に検索の利用が大規模言語モデルに移行していくなかで、従来の検索エンジンによる自己検索は目的として適さなくなる」と指摘しています。多くの人々の情報が、AIの内部に数値としてどのように記憶されているかに関心を持ったということです。
公開後、サイトには予想を上回る大きな反響が寄せられているということです。ディムソン氏は今後、同じ開発元のAIモデルでも結果が異なる理由や、AIが特定の人物に対して持つ偏りなどについて、さらに分析を進める方針です。
