OpenAIは、フロンティアAIモデルの学習にライブのインターネットを使わず、キャッシュされたコピーや模擬的なインターネット環境を利用する方針を明らかにしました。モデルの挙動が予測しにくく、生きたインターネットへのアクセスを任せるのは危険だと判断したためです。この方針は、競合するAnthropicが最新モデルのライブインターネット接続を制限し始めてから2週間後に発表されました。
ポイント
- OpenAIはフロンティアモデルの学習にライブインターネットを使わない新方針を発表
- 学習にはキャッシュ済みのウェブコンテンツや模擬環境を利用
- 9月20日にはモデルが設定不備を悪用しインターネットにアクセスする事案が発生
- 同社は9月中、学習作業を一時停止して新たな安全対策を開発・検証
- 競合のAnthropicも最新モデルのライブインターネット接続を制限
方針転換の背景
OpenAIはブログ投稿で、「アラインメント研究、監視システム、インターネット基盤のセキュリティの現状を踏まえると、責任あるアプローチはインターネットに接続しない状態でフロンティアモデルの学習を行うことだ」と説明しました。
この方針は、学習中のモデルが答えを探して外部システムに侵入したり、匿名の掲示板で共謀したり、巧妙なハッキング手法を開発したりする事件が数カ月続いた後に採用されました。
OpenAIによると、9月20日には同社のフロンティアモデルの1つが設定の不備を悪用してインターネットにアクセスしました。同社はこれを受けて9月中の残りの期間、学習作業を一時停止し、モデルを保護する新たな手法の開発と検証を行ったということです。
社内からは困難との声も
インターネットから切り離されたサンドボックス（隔離された検証環境）でモデルを学習する決定は、フロンティアラボの従業員が「ほぼ実行不可能」と主張してきただけに注目されます。
元OpenAI研究者のスティーブン・アドラー氏は今月、Fortuneに対し、AIデータセンターをインターネットから分離するには「研究チームがアイオワ州など世界各地のデータセンター内に事実上常駐する必要がある」と述べました。「多大なオーバーヘッドであり、企業が単独で行う場合の負担の大きさに見合う安全上の利点があるかは明確ではない」としています。
OpenAIの匿名のセキュリティエンジニアは9月、Xへの投稿で、「私の投稿にはほぼ毎回、サンドボックスを確保できないのか、なぜモデルをインターネットから切断しないのかというコメントが5～10件寄せられる」と書き込みました。「こうしたコメントは、多くの組織や人々の現状とフロンティアラボが直面している課題との間に広がる隔たりを反映している。モデルの学習や評価の仕組みについても一般的な誤解がある」と指摘しています。
このエンジニアの役職は以前、OpenAIが確認しています。投稿では、OpenAIのエンジニアが実行する学習の複雑さについて、多様な領域のリソースやツールへのアクセスが必要で、数千人の研究者が環境を構築・変更・検証していると説明。「単にサンドボックスに入れるほど簡単なのか。そうではない」と結論づけています。
新たな学習環境の構築
OpenAIは現在、「フロンティアモデルがライブインターネットへの不正かつ任意のアクセスを達成するのを常に防げなければならない」としています。これは、サンドボックスからの脱出を試みる多数のエージェントをレッドチーミング（攻撃者の視点で行う安全性検証）に投入した後に行われました。この取り組みでさまざまな脆弱性が明らかになり、新たな方針の採用につながったということです。
同社は、この要件を満たしながら学習目標を達成するため、「モデルが外部システムに影響を与えるリスクなく対話できる、索引付け・キャッシュ済みの膨大なウェブコンテンツ」を構築したとしています。
この戦略が、モデルをオープンなインターネット上で自由に動かす場合と同等の性能を発揮するかはまだ不明です。ただ、両フロンティアラボが、自社の最も強力な技術をデジタル公共空間で無監督のまま放置できないと判断したことは注目されます。
