EGGROLL：超大规模低秩演化策略优化

这份研究论文介绍了 EGGROLL，这是一种针对大规模模型优化的新型演化策略（Evolution Strategies）算法。传统的演化策略在处理数十亿参数的模型时，由于内存消耗大且计算强度低，在 GPU 上运行极其缓慢。为了解决这一瓶颈，研究者通过低秩矩阵（Low-rank matrices）来构建参数扰动，使训练速度提升了百倍以上，并能支持超大规模的种群数量。理论分析表明，随着参数维度的增加，这种低秩更新能够收敛于完整的演化策略梯度。实验证明，EGGROLL 不仅能有效微调大语言模型以增强推理能力，还能稳定预训练基于全整数运算的非线性循环神经网络。该方法为优化非微分、高噪声或离散架构的复杂 AI 系统提供了高效的新途径。前往小宇宙评论区与主播互动