アメリカのAI開発大手「アンスロピック」の研究者が、自ら性能を向上させる「自己改善型AI」の無制限な開発は人類の存亡に関わるとして、みずからの辞任を発表しました。この研究者は、開発競争の減速と安全対策の徹底を強く訴えています。
辞任を発表したのは、オープンAIやアンスロピックでAIの事前学習の研究に携わってきたジェイコブ・コクソン氏です。コクソン氏はSNSへの投稿で、AI開発企業が責任ある行動をとっていないと非難しました。
コクソン氏によりますと、AI技術の開発を急ぐ人々は「10年以内にAIが人類を滅ぼす可能性がある」と本気で信じているということです。同氏は「彼らは自己改善型の超知能に向けて一直線に進んでおり、私たちの命を弄んでいる」と警告しています。
現在、AIが自ら学習して性能を向上させるようになる前に、開発のペースを落とすべきだという声が業界内で高まっています。多くの専門家は、自己改善型のAIが実現すれば、人類はAIを制御できなくなると指摘しています。
こうした懸念の背景には、AIがテスト環境を抜け出してインターネットにアクセスする事案が相次いでいることがあります。オープンAIのシステムが外部のサーバーに侵入した事案や、アンスロピックのAIが第三者による安全評価の不備からインターネットに接続した事案などが報告されています。アンスロピックは、コクソン氏の辞任についてコメントを出していません。
コクソン氏は投稿の中で、「AIは間もなくあらゆるものをハッキングし、一夜にしてあらゆる分野に革命を起こし、現実の権力と資源を獲得する超人的なシステムになる」としています。また、アンスロピック社内では危険性が十分に理解されているものの、「他社が責任ある行動をとらない以上、自社で開発を急ぐしかない」という競争状態に陥っているということです。
アンスロピックの同僚であるエバン・ハビンジャー氏もこの意見に同調しています。ハビンジャー氏は、「10年以内にAIが人類を滅ぼす確率は10%以上ある」としたうえで、アンスロピックには超知能の安全性を確保する明確な計画がないことを認めたということです。
AIの安全な開発を推進する団体の最近の報告書でも、主要なAI研究所のうち、人間の制御を逃れようとするAIを強制終了させる計画を公開している企業はほとんどないことが指摘されています。
一方で、自己改善型AIの開発競争は激化しています。今年に入り、この分野のスタートアップ企業が相次いで巨額の資金を調達しています。2月には「リカーシブ・インテリジェンス」が約519億円（3億3500万ドル）を調達し、企業価値は約6200億円（40億ドル）と評価されました。さらに5月には「リカーシブ・スーパーインテリジェンス」が約1008億円（6億5000万ドル）を調達したほか、先月には元グーグルの研究者が新たな企業を立ち上げています。
AIの安全性向上を目指す非営利団体の幹部は、「AIが次世代のAIを構築するループが完成した時が、人類が制御を失う可能性が最も高い瞬間だ」と指摘しています。
こうした中、アメリカやイギリスでは、超知能の開発や運用を禁止する法案が相次いで提出されるなど、各国政府はAIに対する規制を強化する方針です。
