PyTorch 2.10+

Cursor 发布开源 MoE 训练超级内核 Mixture-of-Kittens

Cursor Research 已开源 Mixture-of-Kittens (MoK)，这是一个专为 Mixture-of-Experts (MoE) 模型设计的专用训练内核。该超级内核将 MoE 通信和计算融合为单一的确定性过程，据称与现有基线相比，吞吐量提高了 2.37 倍。MoK 针对 NVIDIA GB200 NVL72 机架等高端硬件进行了优化，适用于大规模 AI 模型开发和训练。