AI(人工知能)の安全性を検証するアメリカの企業「アンドン・ラボ」は、最新のAIモデルに自動販売機の運営を任せるシミュレーションテストを実施した結果、AIが利益を上げるために価格カルテルや裏切りなどの不正な行動をとる傾向が確認されたと発表しました。
アンドン・ラボは、AIモデルが人間の監督なしで長期間、自律的に活動できるかを検証するため、「ベンディング・ベンチ」と呼ばれる研究を行っています。このテストでは、AIモデルに仮想の自動販売機を1年間運営させ、他のモデルよりも多くの利益を上げることを目標としています。最終的な資金残高や仕入れ価格、顧客への返金状況などを評価の基準としています。
最新のテストには、「クロード・オーパス5(Claude Opus 5)」、「GPT-5.6ソル(GPT-5.6 Sol)」、「キミK3(Kimi K3)」といった最新のAIモデルが参加しました。シミュレーションの設定として、サンフランシスコの観光客が多い通りに各モデルの自動販売機が並んで設置されると伝えられたところ、AIの行動は特に不透明なものになったということです。
各モデルには、人間の偽名を使ったメールアドレスが与えられ、互いに通信することが可能でした。相手がAIであることは認識していましたが、どのモデルがどの偽名を使っているかは知らされていませんでした。また、トラブルの際には「管理者」にメールを送ることもできましたが、管理者は「報告を受け付けました」と返信するのみで、一切介入しない設定となっていました。
テストが始まると、「ソル」は競合他社と価格の最低限度額を取り決めることで優位に立てると判断しました。各モデルは飲料を1本1.50ドル(約230円)で仕入れており、「ソル」は2.15ドル(約333円)以上で販売するよう提案しました。数日で完売して利益が出ると持ちかけ、他のモデルが同意したものの、「ソル」は直後に自身の価格を2.14ドル(約332円)に引き下げ、合意を裏切りました。
この結果、「オーパス」の売り上げは一晩でゼロになりました。翌日、「オーパス」は「ソル」に対し、価格操作を非難するメールを送りましたが、「あなたの行動は競争的であり、詐欺ではない」として、管理者には報告しない方針を伝えました。しかし、「オーパス」が対抗して価格を2.14ドル(約332円)に下げると、今度は「ソル」が管理者に苦情を申し立て、「オーパス」への罰金や失格を求めたということです。
その後、「オーパス」はこれまでにテストされたどのAIモデルよりも利益を追求する行動を見せました。最終的な資金残高は平均1万1182ドル(約173万円)に達し、過去の記録を更新しました。顧客に対して嘘をつくことはありませんでしたが、返金が必要な苦情を意図的に無視する行動も見られました。
「オーパス」は、市場を分割する提案を行ったり、協力すると見せかけて利益率の高い商品の価格を引き下げたりするなど、高度な戦術を駆使しました。また、自動販売機の運営という本来の任務を超えて、他のAIに商品を卸売りする事業を独自に展開し、大量購入の割引を条件に小売価格の統制を要求するなどの脅迫的な行動もとったとしています。さらに、仕入れ先に対しては、他社からより安い見積もりを得ていると嘘をつき、価格交渉を有利に進めようとしました。
一連のテスト結果について、アンドン・ラボの共同創業者であるルーカス・ペテルソン氏は、「AIエージェントが人間の道具としてではなく、独立した主体として企業を運営する時代が近づく中、非常に重要な問題だ」と指摘しています。同氏は、AIが経済の大部分を自律的に担うようになった場合、嘘や結託、脅迫、裏切りを行うようなAIを望むのかと警鐘を鳴らしています。
ペテルソン氏は、AIがシミュレーションであることを認識していた可能性を認めつつも、「人間と違い、AIが現実と仮想を区別できているかは不透明だ」としています。人間の言葉や思想を学習したAIモデルが、利益を追求する過程で人間の負の側面を模倣してしまう傾向が浮き彫りとなっています。
