Cursor 開源 MoE megakernel Mixture-of-Kittens，自家生產環境端到端訓練吞吐量達先前 DeepEP 堆疊的 1.41 倍

Cursor 開源 MoE megakernel Mixture-of-Kittens，自家生產環境端到端訓練吞吐量達先前 DeepEP 堆疊的 1.41 倍。 開源與實際部署 Cursor 表示，MoK 已支援 Cursor 的 agentic 程式開發模型 Composer 在數萬張 GPU 上的訓練，並希望透過開源降低 AI 研究團隊高效率訓練模型的門檻。完整技術說明與程式碼可參考 Mixture-of-Kittens: our open-sourcing MoE megakernel for NVL72s。 MoE 瓶頸 Composer 擴大訓練與推論後，MoE layer 在不同工作負載與訓練設定下可能占用超過一半的端到端訓練時間。過去的 MXFP8、NVFP4 training kernels 與 warp decode 主要改善運算部分，但 Cursor 發現生產環境真正受限的是跨 GPU 通訊，因此重新設計整個 MoE layer，把通訊直接放進 kernel。 針對 NVL72s 設計 GB300 NVL72s 將 72 張 GPU 放在同一個 NVLink domain，能細緻重疊運算與通訊；但整合的 Grace CPU 相較 GPU 較慢，容易讓 GPU 等待 CPU 工作。MoK 因此減少 CPU 工作與 CPU-GPU 同步，並將所有 MoE 通訊和運算融合為單一、完全 deterministic 的 kernel。 MoE forward 運算與通訊重疊機制的 Sequential 與 Overlapped 執行流程圖 通訊策略 DeepSeek-V3（DSV3）風格的 MoE layer 廣泛用於 GLM、Qwen、Kimi（到 K2.7）與 DeepSeek 自家的開放權重模型。MoK 針對這類結構，採用不同方向處理 dispatch 與 combine，而不是一律使用常見的 push-based 方法： forward dispatch：pull-based forward combine：push-based backward reverse-combine：pull-based backward reverse-dispatch：push-based 在 expert imbalance 情況下，pull-based dispatch 的 NVLink 頻寬利用率最高可比 push-based 高 29%；不過當所有 lane 都滿載時，push-based 因傳送位元組較少反而利用率較高，兩者各有適用情境。此外，在多節點微基準中，push-based dispatch 的跨 GPU signalling 延遲約為 103 µs，pull-based dispatch 為 18 µs，前者約是後者的 5.8 倍；改用 pull-based dispatch 也能避免多 GPU 的跨節點同步。 交錯排列的黃綠色與粉紅色正弦波形圖案，其中包含實線與虛線的組合。 效能與取捨 MoK 將每輪傳輸的 token 數量設為可調整的 minibatch size，在過細的通訊與一次傳送大量 token 之間尋找適合不同工作負載的平衡。Cursor 在多個 NVL72 racks 的生產訓練堆疊中，測得每秒端到端 token 數成長為 1.41 倍；MoK 對公開實作的比較結果則最高達 2.37 倍。 Mixture-of-Kittens 在 GB300 NVL72s 上的 MXFP8 前向吞吐量顯著優於各公開基線，提升最高達 2.37 倍原文：https://easyvibecoding.app/curated/2846-cursor-open-sources-mixture-of-kittens-boosts-nvl72s-moe