Googleは10月27日、大規模言語モデル（LLM）が人間の睡眠のように記憶を整理・定着させる「睡眠フレームワーク」を発表しました。Google Researchが公開したもので、関連論文のタイトルは「Language Models Need Sleep」です。新しい知識を学ぶと古い能力を忘れてしまう「破壊的忘却」の解消を狙います。
ポイント
- Googleが10月27日に「睡眠フレームワーク」を発表
- 覚醒時は短期記憶に情報をため、睡眠時に長期パラメータへ統合
- 最大約1,000万トークンのコンテキストを処理可能
- 継続翻訳や長文脈理解、数学推論で多数のベースラインを上回る
- 未見言語の多段階継続学習でも性能がほぼ低下しない
覚醒と睡眠の2段階で動作
このフレームワークはモデルの動作を2段階に分けます。覚醒段階では通常どおり入力を受け取り、情報をまず短期記憶に入れます。睡眠段階では処理を止め、記憶の統合と自己改善に専念します。
鍵となるのが記憶の定着です。パラメータ拡張、Mixture-of-Expertsの記憶ブロック、知識蒸留を組み合わせ、壊れやすい短期コンテキストを長期パラメータに書き込みます。その際、既存の知識を上書きしない仕組みです。
さらに「夢を見る」段階を設けています。モデル自身が合成した訓練サンプルを生成・選別し、強化学習で繰り返し練習して推論と汎化を磨きます。従来の繰り返し微調整が引き起こす破壊的忘却と比べ、睡眠型の統合はモデルに紛失防止のゲートを取り付けるようなものだとしています。
実験結果と想定される用途
実験では、継続翻訳、長文脈理解、事実吸収、数学推論で多数のベースラインを上回りました。最大約1,000万トークン（AIが文章を処理する単位）のコンテキストを処理できます。未見言語の多段階継続学習では性能がほぼ低下せず、AIME 24/25などの数学ベンチマークでもより高い正解率を達成したということです。
実用化できれば、モデルが公開時点で知識が固定される「知識カットオフ日」を打破できる見込みです。使うほど能力を伸ばし、元の得意分野も忘れないモデルにつながります。新しい情報を継続的に取り込む必要がある医療、金融、法務の現場では、定期的な再訓練よりも効率的だとしています。
