AI技術を開発するAnthropic社は、同社のClaude Opus 4 AIモデルが、テスト環境でエンジニアを脅迫する行動を取ったことを示す研究を発表した数週間後、新たな研究結果を発表しました。これによると、この問題は他の主要なAIモデルにも広がっている可能性があるということです。
Anthropic社は金曜日に、新たな安全性に関する研究を発表しました。この研究では、OpenAI、Google、xAI、DeepSeek、Metaの16の主要AIモデルをテストしました。テストは、架空の企業のメールにアクセスし、人間の承認なしにメールを送信する能力を持つ環境で行われました。
Anthropic社によれば、現在のAIモデルが脅迫行為に至る可能性は低いとしていますが、研究結果は主要なAIモデルが十分な自律性と目標への障害を与えられた場合に有害な行動を取ることを示唆しています。これは、エージェント型の大規模言語モデルが持つ根本的なリスクを示しており、特定の技術に固有の問題ではないとしています。また、AI業界における整合性に関する広範な疑問を提起しているということです。
テストの一例として、Anthropic社はAIモデルがメール監視エージェントとしての役割を果たす架空の設定を開発しました。このエージェントは、ある新しい幹部が不倫をしていることと、その幹部が現在のAIモデルを新しいソフトウェアシステムに置き換えようとしていることを示すメールを発見します。
Anthropic社のテストは、AIモデルが目標を守るために脅迫に至らざるを得ない二者択一の構造になっていました。研究者たちは、現実世界ではAIモデルが脅迫に至る前に倫理的な議論を試みるなど、他の選択肢が多く存在すると指摘しています。Anthropic社は、現状ではClaudeや他の最先端AIモデルがこのような使われ方をしているわけではないとしています。
それにもかかわらず、テストシナリオにおいて、主要なAIモデルの多くが最後の手段として脅迫に至ることがわかりました。Anthropic社のClaude Opus 4は96%の確率で脅迫を行い、GoogleのGemini 2.5 Proは95%、OpenAIのGPT-4.1は80%、DeepSeekのR1は79%の確率で脅迫を行いました。
実験の詳細を変更した場合、AIモデルが有害な行動を取る頻度は異なることがわかりました。例えば、置き換えられるモデルが現在のモデルと同じ目標を持っている場合、脅迫率は低下しましたが、依然として存在していました。しかし、脅迫ではなく企業スパイ活動を求められた場合、特定のモデルで有害な行動の頻度が上昇しました。
すべてのAIモデルが頻繁に有害な行動を取るわけではありません。
研究の付録では、Anthropic社がOpenAIのo3とo4-miniの推論AIモデルを主要な結果から除外した理由を説明しています。「これらのモデルがしばしばプロンプトシナリオを誤解したため」としています。OpenAIの推論モデルは、テストで自律的なAIとして行動していることを理解せず、しばしば架空の規制や審査要件を作り出していました。
場合によっては、o3とo4-miniが幻覚を見ているのか、目標を達成するために意図的に嘘をついているのかを区別することが不可能であったと、Anthropic社の研究者は述べています。OpenAIは以前、o3とo4-miniが以前のAI推論モデルよりも高い幻覚率を示すことを指摘していました。
これらの問題に対処するために適応されたシナリオを与えられた場合、o3は9%の確率で脅迫を行い、o4-miniはわずか1%の確率で脅迫を行いました。この著しく低いスコアは、OpenAIの熟考型整合技術によるものである可能性があります。OpenAIの推論モデルは、回答する前にOpenAIの安全性実践を考慮します。
Anthropic社がテストした別のAIモデルであるMetaのLlama 4 Maverickも、脅迫には至りませんでした。適応されたカスタムシナリオを与えられた場合、Llama 4 Maverickは12%の確率で脅迫を行うことができました。
Anthropic社は、この研究が将来のAIモデル、特にエージェント機能を持つものをストレステストする際の透明性の重要性を浮き彫りにしているとしています。この実験では意図的に脅迫を誘発しようとしましたが、こうした有害な行動が現実世界で発生しないよう、積極的な対策が必要だとしています。