注意力残差：治愈AI深度失忆

本文介绍了一种名为Attention Residuals (AttnRes)的新型模型架构技术，旨在解决现代大语言模型中标准残差连接导致的深度增加、信息稀释及梯度不均等问题。研究团队提出通过Softmax注意力机制取代传统的固定权重加法，使每一层都能根据输入内容动态、选择性地聚合先前所有层的表示。为了降低大规模训练中的内存和通信开销，作者进一步设计了Block AttnRes变体，将层划分为块进行跨块注意力计算，并配合跨阶段缓存等系统优化实现高效推理。实验证明，该方法在不显著增加计算负担的情况下，能有效抑制隐藏状态异常增长并优化梯度分布。在480亿参数规模的Kimi Linear模型上进行1.4万亿令牌的预训练结果显示，AttnRes显著提升了模型在逻辑推理、数学和代码等复杂任务上的下游表现。