规模化模型学习：容量、干扰与稀疏任务留存

这项研究探讨了大模型为何能学会小模型无法掌握的任务。研究者通过现象学模型发现，即便有无限的训练数据，小模型在处理低频或高复杂度任务时仍面临瓶颈。这种限制源于梯度干扰：在小模型中，高频任务的更新会不断覆盖稀疏任务的学习成果。扩大模型规模则能有效减少这种资源竞争，使模型在掌握常见任务后，仍有余裕保留并累积罕见任务的特征。通过对 OLMo 模型的实验验证，研究证明了增加参数量是提升模型特征表征能力和减少任务间干扰的关键。因此，大模型的优势不仅在于更高的学习效率，更在于其独特的数据消解机制。前往小宇宙评论区与主播互动