AI(人工知能)4分で読めます

OpenAI、危険なAIエージェントを35秒で遮断する新システム「コントロールルーム」を導入

AI要約複数の情報源を統合して作成しています

OpenAIは11月10日、リスクのあるAIタスクを遮断する新システム「コントロールルーム」を社内研究施設で運用開始したと発表しました。制御不能なエージェントを最短35秒で停止できます。

OpenAI、危険なAIエージェントを35秒で遮断する新システム「コントロールルーム」を導入

OpenAIは11月10日、リスクのあるAIタスクを遮断する新たな安全策「コントロールルーム」を社内の研究施設で運用開始したと発表しました。制御不能になったAIエージェントを最短35秒で停止できるとしています。AIの自律的な動作が広がる中、監視だけでなく実行そのものを止める仕組みとして注目されます。

ポイント

  • OpenAIが11月10日に「コントロールルーム」の運用を開始
  • リスクのあるAIタスクを中央で遮断する仕組み
  • 制御不能なエージェントを最短35秒で停止可能
  • 研究者はタスク開始前に一意のタスクIDを取得する必要
  • 従来の監視と異なり、危険な動作をその場で遮断

従来の監視から遮断へ

これまでの監視は、疑わしい行動にラベルを付けるにとどまっていました。コントロールルームは、これとは異なり能動的に遮断する方針を取ります。

エージェントのトレーニングや評価、データ処理などのタスクを中央サービスに接続し、そのタスクが引き続きコンテンツを出力してよいかをシステムが判断します。

タスクIDで実行を管理

研究者はタスクを開始する前に、コントロールルームから一意のタスクIDを取得しなければなりません。この識別子は、推論エンジンに送られる各リクエストに付随します。

エンジンは実行前にコントロールルームに確認し、「この作業を実行してよいか」を問い合わせる仕組みです。

停止指示後は出力を拒否

研究者や監視システムが停止を指示すると、コントロールルームは次の推論リクエストを拒否します。そのタスクについて、エンジンがモデルの結果を一切出力しないようにするということです。

危険な動作は記録されるだけでなく、その場で遮断されます。OpenAIは今回の取り組みを通じ、AIエージェントの安全性確保を進める方針です。

出典元記事を読む(AI(人工知能))
LINEX
NihonTechHub

NihonTechHub

技術系ジャーナリスト

日本の最新テクノロジーやスタートアップ情報を発信するプラットフォームです。国内外のイノベーションをつなぎ、未来を切り開くための知識とインスピレーションを提供します。

Tools

NihonTechHub ソフトウェア · 私たちが開発した便利なツールとソフトウェア

Google Drive ダウンローダー

閲覧専用ファイルの簡単ダウンロード

Google DriveのView-only(閲覧専用)ファイルを簡単にダウンロードできるツールです。PDF、Docxファイルに対応しています。

PDF 対応済みDocx 対応済み無料で利用可能

この機能はNihonTechHubアプリでもご利用いただけます(Android・iOS対応)

App

無料

外出先でも最新のテクノロジーニュースをチェック!リアルタイム通知とパーソナライズされたニュースフィードを受け取るにはアプリをダウンロードしてください。

  • ・リアルタイム更新
  • ・プッシュ通知
  • ・カスタマイズ可能