ZAYA1-8B：基于MoE++架构的高效推理模型

ZAYA1-8B，一款由 Zyphra 开发、基于 MoE++ 架构 的推理强化型混合专家模型。该模型虽然仅拥有 7 亿激活参数，但通过在 AMD 全栈平台上进行从头训练，其数学与编程性能足以媲美参数量大得多的模型。其核心创新在于采用了压缩卷积注意力 (CCA) 和更具表达力的 MLP 路由器，有效提升了计算效率与路由决策的准确性。在训练流程上，研究者实施了答数保留修剪方案，确保推理数据贯穿预训练始终，并配合四阶段强化学习级联来强化逻辑能力。此外，报告引入了名为 Markovian RSA 的测试时计算方法，通过递归聚合推理路径，显著收窄了小模型与顶级旗舰模型之间的性能差距。总而言之，ZAYA1-8B 证明了通过架构优化、推理感知的训练设计以及高效的测试时推理策略，轻量级模型也能实现卓越的复杂逻辑推理。