Google Research提出睡眠框架实现LLM持续学习
先了解这件事
2026年10月28日，Google Research发布睡眠框架（Sleep Framework），旨在解决大语言模型在持续学习中的灾难性遗忘问题。该框架模拟人类睡眠机制，将训练过程分为活跃期与睡眠期。活跃期处理输入并存储短期信息；睡眠期暂停新输入，利用预分配的混合专家（MoE）内存块更新权重以巩固长期参数。核心机制包含记忆巩固与梦境自优化，通过参数扩展、连续记忆层级结构及广义知识蒸馏等技术，使模型能够保留旧知识的同时支持10M token上下文。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Google Research精选Google 提出睡眠框架使大模型在持续学习中保留知识并支持10M token上下文
Google Research 发布睡眠框架（Sleep Framework），通过交替进行活跃交互与离线记忆巩固，使大语言模型能够持续学习新知识并避免灾难性遗忘。该范式将人类睡眠机制映射为两个阶段：活跃期处理输入并存储短期信息，睡眠期则暂停新输入，利用预分配的混合专家（MoE）内存块更新权重以巩固长期参数。 核心机制包含记忆巩固与梦境自优化。记忆巩固阶段采用参数扩展与连续记忆层级结构，将低秩专家整合至低频模块，并通过广义知识蒸馏（GKD）结合强化学习模仿学习，将高频层的短期记忆向上蒸馏至长期参数，随后重置临时参数。梦境阶段通过随机激活非标准专家生成合成数据，并利用基于梯度的数据选择筛选高价值样本进行监督微调，从而优化学习几何结构。实验显示，该方法在多阶段评估中维持了近乎零的性能下降，在 BABILong 基准上实现了高达 10M tokens 的长上下文理解，并在 AIME 24/25 和 HMMT 25 数学推理任务上超越了 SFT、GRPO 等基线方法。 事实层面，该研究由 Google 与康奈尔大学合作完成，明确提出了 MoE 架构下的参数扩展与知识种子机制。推断层面，这种“睡眠”机制可能改变当前依赖静态预训练或仅靠上下文窗口（ICL）的部署模式，使模型具备类似人类的持续进化能力。猜测层面，虽然文中未提及具体算力成本，但周期性离线计算与动态参数扩展可能对推理延迟与硬件资源调度提出新的工程挑战，其实际落地效果需进一步观察大规模部署时的稳定性。
本事件热度走势
当前热度 9·可比范围峰值 10（10月28日 02:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。