Google：内存缓存破解大模型记忆瓶颈

本文介绍了一种名为存储缓存（Memory Caching, MC）的新型技术，旨在解决循环神经网络（RNN）在处理长序列时因内存容量固定而导致的性能瓶颈。该研究由谷歌研究（Google Research）与康奈尔大学等机构合作完成，提出通过在推理过程中缓存隐藏状态的检查点，使RNN的有效内存容量随序列长度动态增长。文章详细阐述了四种不同的聚合策略，包括残差存储、门控聚合、存储汤（Memory Soup）以及稀疏选择性缓存（SSC）。实验结果表明，该技术显著提升了线性注意力模型和Titans等循环架构在语言建模及长文本理解任务中的表现。这种方法在保持亚平方级计算复杂度的同时，缩小了循环模型与Transformer在召回密集型任务中的差距，实现了效率与性能的平衡。