Alibaba：SlimQwen单卡跑通800亿大模型

SlimQwen，是一种针对大规模混合专家模型（MoE）的高效压缩方案。作者通过系统性实验证明，利用结构化剪枝进行模型初始化，其性能显著优于从零开始训练。研究提出了一种部分保留专家合并策略，在减少专家数量的同时有效保留了预训练知识。为了进一步提升模型质量，研究引入了多步预测（MTP）蒸馏技术，这不仅增强了模型基础能力，还提升了投机采样的效率。此外，采用渐进式剪枝调度比一次性剪枝表现更佳。最终，该方法成功将 Qwen3-Next-80A3B 压缩至 23A2B 规模，并在多个基准测试中保持了极强的竞争力。