Google：Memory Caching让AI过目不忘

Google Research 与康奈尔大学等机构合作的研究介绍了一种名为 Memory Caching (MC) 的新算法，旨在解决循环神经网络（RNN）在长文本任务中因内存固定而产生的记忆遗忘问题。MC 技术的创新之处在于，它通过在模型运行过程中缓存隐藏状态的快照，使 RNN 的有效记忆容量能随序列长度增长。研究者提出了残差记忆、门控机制、记忆浓汤和稀疏选择性缓存四种变体，灵活地在低复杂度的 RNN 和高复杂度的 Transformer 之间取得平衡。实验证明，该方法显著提升了循环模型在语言建模和长文本理解中的表现，缩小了其与 Transformer 在检索任务上的差距。通过这种分段缓存与动态聚合的机制，模型在保持高处理效率的同时，极大地增强了对超长上下文的捕捉能力。