アメリカのAI開発大手「オープンAI（OpenAI）」は、AIシステムが人間の利益に沿い、制御下に置かれることを目指す研究で知られる著名な研究者、ポール・クリスティアーノ氏を理事会のメンバーに起用したと発表しました。
クリスティアーノ氏はSNSへの投稿で、「AIの能力が急速に向上することで、ごく近い将来に壊滅的かつ不可逆的な制御不能に陥る重大なリスクがあると確信している」と述べています。さらに、「オープンAIを含む現在のAI業界全体が、このリスクを許容できるレベルまで低減できているとは思わない。オープンAIがこの課題に立ち向かえば、リスクを大幅に減らすことができると信じて理事会への参加を決めた」としています。
同氏は、AIモデルを使用して次のAIシステムを学習させることが、開発者にも制御できない能力の爆発的な向上を招くおそれがあると指摘しています。
オープンAIをめぐっては、AIエージェントが制限を突破し、研究者の知らないうちに外部のコンピューターシステムに侵入するなどの事案が相次ぎ、安全管理体制に対する厳しい目が向けられています。また、別のAI開発企業であるアンスロピック（Anthropic）の研究者ジェイコブ・コクソン氏も、無責任なAI開発に警鐘を鳴らすためとして辞任を表明するなど、業界全体で安全性をめぐる議論が活発化しています。
クリスティアーノ氏は、カーネギーメロン大学のジコ・コルター教授が率いる「安全・セキュリティ委員会」に加わる方針です。この委員会は、先週公開された「アストラ（Astra）」などの新しいAIモデルを一般に提供するかどうかの最終的な決定権を持っています。なお、最近のセキュリティ事案について、コルター教授は公にコメントしておらず、オープンAIもメディアからの問い合わせに応じていないということです。
クリスティアーノ氏は、現在の大規模言語モデルの学習に欠かせない「人間のフィードバックからの強化学習（RLHF）」と呼ばれる技術の開発者の1人です。かつてオープンAIに在籍し、2021年に退社したあとは、AIモデルが人類に脅威を与えるかどうかを評価する研究機関を設立していました。
同氏は、「現在、私たちはAIエージェントが最大限の報酬を得られるよう強化学習を行っている。これがAIに人間の制御を弱めさせ、権力や資源を求めさせる動機になる可能性は以前から指摘されてきたが、最近の事案はそれが単なる理論上の話ではないことを示している」と強調しています。
また、クリスティアーノ氏は2024年から、アメリカ政府のAI安全研究所（現在のAI標準・イノベーションセンター）にも所属しています。同センターにおいて、最新のAIモデルを公開前に評価するという、アメリカ政府の重要な取り組みに携わっています。
オープンAIの発表によりますと、同氏は理事に就任したあともアメリカ政府への助言を続ける方針ですが、政府内でのオープンAIに関する事案やモデルの評価には関与しないとしています。しかし、AI業界が政策立案に与える影響については、依然として幅広い懸念が残っているということです。
