Anthropicは、米国証券取引委員会（SEC）に提出した改訂版のS-1書類の中で、同社のAIがまもなく「再帰的自己改善（RSI）」に関わる能力の閾値に達する可能性があると開示しました。AIによる研究開発の加速が新たな安全上のリスクになり得ると警告しています。
ポイント
- Anthropicが月曜日に改訂版S-1A書類を提出し、リスク要因の開示を更新した
- AIを活用した研究開発の加速により、モデル能力の向上が安全検証や調整、保障措置の整備を上回る可能性があると指摘
- 将来モデルの内部評価に基づき、RSIに関連する閾値に近づく可能性があるとした
- 現時点で基準に達しているモデルはないとし、関連データを継続的に評価している
- 人間の監督なしにClaudeへ次世代フロンティアモデルを設計・構築させることはない方針
再帰的自己改善とは
RSIとは、AIが自らの能力を使ってモデルの研究開発を継続的に改善し、能力の向上が繰り返し加速する状態を指します。Anthropicは、生産性の向上や科学的発見を促す一方で、技術の進歩が人類の安全ガバナンス能力を超える恐れもあるとしています。
研究開発の加速と安全検証
Anthropicは改訂版S-1A書類で、AIシステムを活用して自社の研究開発を加速させていると説明しました。モデル能力の向上速度が、安全検証や調整、保障措置の整備の速度を上回る可能性があると指摘しています。
同社は過去に、AI支援による研究開発がモデル能力の飛躍的な向上をもたらしたことを適時に把握できなかった事例があったと認めました。今後も同様の状況が起こり得るとしています。
閾値の評価と今後の方針
文書では、将来モデルに関する社内評価と予測に基づき、同社の「責任あるスケーリング政策」で定義するRSIの閾値に近づく可能性があるとしています。一方で、現時点でこの基準に達しているモデルはないと強調し、関連データを継続的に評価しているとしています。
Anthropicは、技術的に可能であっても、実質的な人間の監督と理解がない状況でClaudeに次世代フロンティアモデルを自律的に設計・構築させることはないと明言しました。「責任あるスケーリング政策」の更新を検討し、人間が常にフロンティアモデルの研究開発を管理できるようにするとしています。
