Carnegie Mellon：大语言模型休眠 离线循环优化内存

这篇文章介绍了一种名为“LLM Sleep”的新型模型机制，旨在解决大型语言模型在处理长上下文时面临的推理深度与计算效率之间的矛盾。受生物睡眠启发，该研究提出在清空注意力缓存之前，让模型进行多次离线循环传递，将即时信息整合进状态空间模型（SSM）的权重中。这种方式能让模型在不增加预测阶段延迟的前提下，更有效地处理需要深度逻辑转化的任务。实验表明，增加“睡眠时间”即循环次数，能显著提升模型在细胞自动机、图检索以及复杂数学推理任务中的表现。这一方法证明了通过离线计算强化长程记忆质量，是实现高效长序列建模的有效途径。