MIT：监督式存储训练 非递归预训练循环神经网络 用SMT破解AI记忆瓶颈

这项研究提出了一种名为监督记忆训练（SMT）的新型循环神经网络（RNN）预训练方法，旨在解决传统随时间反向传播（BPTT）算法中梯度不稳定和难以并行化的问题。SMT的核心思想是将记忆的“存储内容”与“更新方式”解耦，通过Transformer编码器生成预测性状态标签，将RNN训练转化为单步监督学习。这种方法实现了O(1)的恒定梯度路径，极大地增强了模型捕捉长距离依赖的能力，并在语言建模和像素序列建模任务中表现出色。为了修正自回归生成过程中的累积偏差，研究者还引入了DAgger记忆训练（DMT）进行微调。实验证明，SMT不仅在计算效率上优于传统的BPTT，还能使非线性RNN具备更强的长度泛化能力和记忆压缩效率。总而言之，该技术为大规模扩展高性能、固定内存占用且具备非线性表达能力的序列模型开辟了新路径。