Cursor：Warp Decode让MoE推理快1.8倍

Cursor 开发的一种名为 Warp Decode 的新型推理技术，旨在优化 混合专家模型（MoE） 在 NVIDIA Blackwell GPU 上的运行效率。传统的推理方式以专家为中心，在处理小批量生成任务时会产生大量的代理解析和数据搬运开销。Warp Decode 通过将并行维度从专家转向输出神经元，实现了每个线程组（Warp）独立计算单一输出值，从而消除了冗余的缓冲环节和同步步骤。实验结果显示，这种方法不仅将推理吞吐量提升了 1.8 倍，还通过减少量化损耗使计算精度更接近全精度标准。尽管该技术在处理大规模预填充任务时不如传统方法，但在自动回归解码阶段表现卓越，能够显著加速模型响应并提升硬件利用率。