规模与可塑性：LLM持续学习挑战 大模型难逃可塑性丧失

这项研究探讨了大语言模型在长期训练中逐渐丧失学习新信息能力的“塑性丧失”现象。通过对不同规模的Transformer模型进行多语言持续学习测试，研究者发现模型规模虽能延迟塑性丧失的发生，但无法完全消除该问题。实验表明，这种能力退化的时间点遵循一种亚线性的幂律缩放法则，意味着单纯增加参数量来维持学习能力的边际效应会递减。此外，该现象在任务变化剧烈的持续学习和数据分布稳定的静态训练中均有出现。通过对网络内部特征的观察，研究者指出参数量级增长、神经元失活以及注意力机制的病态坍缩可能是导致模型失去适应性的潜在诱因。综上所述，即便最先进的大型语言模型，在经历超长时期的训练后，也可能面临无法高效吸收新知识的本质挑战。