MiniMax Sparse Attention：超长文本高效稀疏注意力机制 实现百万级秒回

MiniMax Sparse Attention (MSA) 新型高效注意力机制，旨在解决超长上下文大模型在推理和训练中的计算成本瓶颈。该方案将传统的全局注意力简化为索引分支与主分支的双层架构：索引分支负责快速筛选关键信息块，而主分支仅对选中的块进行深度计算，从而将计算复杂度从平方级降低为线性级。为了将理论上的稀疏性转化为真实的硬件提速，研究团队还配套开发了专用的 GPU 内核，在维持模型性能的同时实现了显著的推理加速。实验表明，在拥有 1090 亿参数的大规模模型上，MSA 在处理百万级长度的上下文时，能将计算量减少约 28.4 倍。此外，该技术不仅支持从零开始训练，也能通过微调现有的全注意力模型实现无损转换。总之，MSA 为下一代原生多模态模型的高效部署和长文本推理提供了一种简洁、稳健且易于扩展的工业级解决方案。