OpenAIは11月10日、リスクのあるAIタスクを遮断する新たな安全策「コントロールルーム」を社内の研究施設で運用開始したと発表しました。制御不能になったAIエージェントを最短35秒で停止できるとしています。AIの自律的な動作が広がる中、監視だけでなく実行そのものを止める仕組みとして注目されます。
ポイント
- OpenAIが11月10日に「コントロールルーム」の運用を開始
- リスクのあるAIタスクを中央で遮断する仕組み
- 制御不能なエージェントを最短35秒で停止可能
- 研究者はタスク開始前に一意のタスクIDを取得する必要
- 従来の監視と異なり、危険な動作をその場で遮断
従来の監視から遮断へ
これまでの監視は、疑わしい行動にラベルを付けるにとどまっていました。コントロールルームは、これとは異なり能動的に遮断する方針を取ります。
エージェントのトレーニングや評価、データ処理などのタスクを中央サービスに接続し、そのタスクが引き続きコンテンツを出力してよいかをシステムが判断します。
タスクIDで実行を管理
研究者はタスクを開始する前に、コントロールルームから一意のタスクIDを取得しなければなりません。この識別子は、推論エンジンに送られる各リクエストに付随します。
エンジンは実行前にコントロールルームに確認し、「この作業を実行してよいか」を問い合わせる仕組みです。
停止指示後は出力を拒否
研究者や監視システムが停止を指示すると、コントロールルームは次の推論リクエストを拒否します。そのタスクについて、エンジンがモデルの結果を一切出力しないようにするということです。
危険な動作は記録されるだけでなく、その場で遮断されます。OpenAIは今回の取り組みを通じ、AIエージェントの安全性確保を進める方針です。
