Nous Research：Token叠加让AI训练提速

这篇文章介绍了一种名为令牌叠加训练（TST）的创新大语言模型预训练方法，旨在不改变模型架构的情况下大幅提升数据吞吐量。TST将预训练分为两个阶段：首先是高效的叠加阶段，通过将多个连续令牌合并为“袋”并使用多热交叉熵损失进行训练；随后是恢复阶段，模型回归到标准的自回归预测模式。研究表明，该方法在保持相同计算量的同时，能够让模型接触到更多数据，从而显著降低训练损失并提升下游任务表现。实验验证显示，在100亿参数规模下，TST能实现高达2.5倍的加速效果，且不会对推理性能产生负面影响。这种方法的成功得益于其在两个阶段间保持了输入嵌入和输出头的一致性，有效避免了表示层面的不匹配。总之，TST为大型模型的低成本、高效率预训练提供了一个简单且通用的即插即用方案。