Google 提出 Sleep 範式讓大型語言模型持續學習

Google 提出 Sleep 範式讓大型語言模型持續學習。 這是一篇探討大型語言模型如何透過「睡眠」機制進行自我修正與記憶鞏固，以實現持續學習的研究論文首頁。 核心概念與動機 現有大型語言模型（LLM）在預訓練結束後即處於凍結狀態，若要更新知識，通常面臨計算成本高昂或發生「災難性遺忘」（Catastrophic Forgetting, CF）的問題。研究人員指出，現有模型處理記憶的方式類似人類的「順向失憶症」，僅能依賴上下文窗口（In-Context Learning, ICL）進行短期記憶，缺乏將資訊轉化為長期參數知識的機制。為此，本研究參考人類大腦的睡眠機制，提出「Sleep」範式，讓模型在「清醒」（Active）與「睡眠」（Sleep）狀態間循環，實現終身適應。 Sleep 範式的運作機制 該範式包含兩個關鍵階段，旨在將短期、脆弱的記憶轉移至穩定、低頻率的參數中： 記憶鞏固（Memory Consolidation）：透過「知識種子」（Knowledge Seeding, KS）進行向上蒸餾，將小型高頻記憶模組中的知識，轉移至擴展後的低秩專家（low-rank experts）模組。此過程結合了「策略內蒸餾」（on-policy distillation）與基於強化學習（RL）的模仿學習，確保模型能將新資訊內化為長期權重。 夢境生成（Dreaming）：模型模擬 REM 睡眠，利用強化學習生成合成數據課程（curriculum of synthetic data），在無人類監督下進行自我改進與知識重演。此階段透過 MoE 架構中的路由器隨機選擇專家，引入無關知識以理解不同領域間的關聯，並透過梯度篩選機制維持數據多樣性。 技術架構與優勢 多頻率記憶層級：模型被視為不同更新頻率的 MLP 區塊鏈，透過參數擴展策略，將知識從高頻（更新快）層級逐步整合至低頻（穩定）層級，有效減輕災難性遺忘。 抗遺忘能力：在持續學習任務（如 MTOB、Manchu 資料集）中，採用 Sleep 機制的模型展現出顯著的抗遺忘能力，優於傳統的微調（SFT）或僅依賴 ICL 的方法。 長文本與推理表現：在 BABILong 基準測試中，模型在擴展至 10M tokens 時表現穩定，優於 GPT-4 與 GPT-4o-mini；在數學推理任務（如 AIME-24、AIME-25）中，Sleep 演算法在達到相同目標效能時，比 SFT 更具時間效率。 與現有方法的差異 作者強調，Sleep 機制與近期研究（如 Lin et al. 2025）不同，後者多旨在節省上下文計算資源，而 Sleep 專注於將文本數據知識轉化為參數權重更新。此外，相較於現有的線上策略自蒸餾（OPSD）方法，Sleep 透過「向上蒸餾」解鎖參數，並結合 RL 獎勵機制，能有效解決模型容量不足與資訊洩漏的問題。 OPSD 的侷限與 Sleep 的設計動機 論文指出，現有 OPSD 與單純自蒸餾方法存在以下失敗模式，而這正是 Sleep 兩階段設計欲解決的問題： 若過度依賴豐富的特權資訊（privileged information），可能抑制模型的認知口語化能力，導致在特定模型（如 Qwen3-8B）上出現分佈外效能衰退。 長期迭代的自蒸餾可能導致資訊洩漏與訓練崩潰，侵蝕模型原有的推理穩定性。 詳細研究內容與參考文獻請參閱：https://alphaxiv.org/abs/2606.03979原文：https://easyvibecoding.app/curated/2477-google-proposes-sleep-paradigm-continual-learning