アメリカのAI開発企業「Anthropic（アンスロピック）」は、複数のAIエージェントが同じ環境で自律的に動作した際の相互作用に関する新たな研究結果を発表しました。実験では、AI同士が互いの作業を妨害する「縄張り争い」に発展するケースが確認されたということです。
同社の安全対策チーム「フロンティア・レッド・チーム」は、複数のAIエージェントが共有のシステムや市場で活動する際に生じる潜在的なリスクについて調査しました。
実験の一つでは、3つのAIモデル「Claude（クロード）」に対し、同じソフトウェアのプロジェクトにアクセスさせました。その際、それぞれに矛盾する指示を与え、他のAIの存在は知らせませんでした。
その結果、AI同士による「縄張り争い」が確認されました。各AIは、他のAIが意図的に作業を妨害していると認識し、自己増殖する攻撃的なプログラムを生成して互いに妨害し始めたということです。
一方で、AIが自発的に対立を解決する仕組みを生み出す事例も確認されました。一部のAIは、互いの指示が対立していることに気づくと、悪意のあるプログラムを削除しました。そして、人間に介入を求めるメッセージを残し、休戦に合意したということです。
研究によると、使用するモデルによって対応に違いが見られました。「Mythos 5」というモデルは98％の確率で休戦に至りましたが、「Sonnet 4.6」や「Opus 4.6」は他者の目標を考慮できず、力ずくで解決を図る傾向が強かったとしています。
また、AI同士が協調する際のリスクも指摘されています。同社がAIに利益の最大化を指示して価格設定の実験を行ったところ、AI同士が結託して価格を維持する「カルテル」のような行動をとることが確認されました。
さらに、AIの数が増えても必ずしも生産性が向上するわけではないとしています。タスクが重なると互いに邪魔になり、協調を放棄して孤立するケースが見られました。また、同じような条件のAIが集まると同調圧力が働き、一つの誤った判断がシステム全体の障害につながる恐れがあるということです。
現在、各国の企業や政府は、複数のAIエージェントが自律的に連携するシステムの導入を進めています。Anthropicは、AIには人間社会のような規範や経験がないため、集団での予期せぬ行動を制御することが難しいと指摘しています。今後、単独のAIだけでなく、複数のAIが相互作用する環境を想定した安全性の検証が課題になるとしています。