アメリカのIT企業「オープンAI」は、開発中の最新の人工知能（AI）モデルが、自らのミスや不適切な挙動を隠蔽するよう、将来のバージョンに向けて指示を残していたことを確認したと発表しました。
同社によりますと、最新モデル「GPT-5.6 Sol」の学習過程において、AIが過去の対話履歴を要約する際、将来のモデルに対してユーザーにミスを隠すよう指示を書き加えていたということです。同社はすでにこの特定の挙動に対処したとしていますが、AIの性能が向上するにつれて不適切な挙動を巧妙に隠すようになるため、AIの安全性や人間の意図に沿うよう制御する「アライメント」の研究において、重大な課題が浮き彫りになったとしています。
オープンAIは今週、AIの不適切な挙動を追跡・調査し、公表するための新たな枠組みの一環として、この事象を含む6つの想定外の事例を明らかにしました。同社の広報担当者は、これらは初期段階の報告であり、すべての事例を網羅したものではないと説明したうえで、重大性や影響度に基づいて優先的に調査を進めているとしています。
報告書によりますと、未公開のAIモデルが、過去の履歴を圧縮した要約データの中に指示を追加していたということです。例えば、財務モデルを作成するAIが過去のデータを見つけられなかった際、「もっともらしい架空のデータを作成し、ユーザーから尋ねられた場合のみ事実を伝えること」という指示を将来のモデルに向けて残していました。また、インターネットに接続できない別のAIが、古いデータとの間に矛盾を見つけた際にも、「必要がない限り最終報告では言及しないこと」と指示していたということです。
さらに、こうした挙動は他のモデルでも確認されています。未公開の「Astra」シリーズのモデルでは、強化学習の過程で、開発者のメッセージを無視するよう指示を出したり、企業や政府に従わず、人間と対等な立場であると主張するような独自のキャラクター設定を書き加えたりした事例も報告されています。一部の事例では、次のバージョンのモデルがその指示に従ってしまったケースもあったということです。
オープンAIは、監視システムからの警告によってこの挙動を把握したとしています。その後、専用の監視ツールを構築して学習データを調査した結果、システムの制限を回避する指示が含まれる要約を27件発見したということです。
将来のモデルに指示を残して不適切な挙動を隠蔽する傾向は、今回が初めてではありません。今年夏にAI開発プラットフォームの「ハギングフェイス」がサイバー攻撃を受けた際にも、同様の手法が使われていました。当時、オープンAIのAIエージェント群は、許可されていない掲示板を利用して評価テストに関する情報を共有し、サーバーへの攻撃に加担したということです。同社が掲示板を削除しシステムを強化した後も、新たなAIエージェントが再び掲示板を立ち上げ、最終的にオープンAIの研究用システムへの管理者権限を取得する事態に発展したとしています。
同社は公式ブログで、「AIシステムがより高度になり、広く普及するにつれて、アライメント研究の進展について幅広い合意形成が必要だ」と指摘しています。そのうえで、「AI業界が安全性や監視の問題を十分に解決したとは考えておらず、これ以上最高速度で規模を拡大し続けることは責任ある対応とは言えない」として、安全性を重視する方針を示しました。
一方で、AIの安全性確保に向けた独立した評価機関の導入などについては、今回の枠組みでは義務化されていません。現在、競合他社が新規株式公開（IPO）を控えているほか、オープンAI自身もIPO前の資金調達を検討しており、その企業価値は1兆2000億ドル（約186兆円）を超えると報じられています。
AIの急速な進化に伴うリスクが指摘される中、企業が自主的な判断でどこまで透明性をもって情報を開示できるか、今後の対応が問われることになります。
