Ai2：Olmo Hybrid混合架构省一半数据

这份研究介绍了 Olmo Hybrid，这是一种结合了注意力机制与门控 DeltaNet (GDN) 递归层的 7B 参数新型混合语言模型。与传统的 Transformer 相比，该架构在预训练效率上表现卓越，仅需约一半的 Token 即可达到同等的准确度。理论研究表明，混合模型能处理单一架构无法胜任的状态追踪与召回任务，展现出更强的表达能力。实验证明，这种模型在长文本处理、数学和常识推理等基准测试中均优于同规模的 Olmo 3。此外，拟合的缩放定律证实了混合架构在数据和计算效率上的长期优势。该研究为开发者转向更具可扩展性的递归混合模型提供了强有力的证据。