Cursor 开发并开源了 Mixture-of-Kittens (MoK)，这是一个旨在优化 Mixture-of-Experts (MoE) 模型执行的新软件层。MoK 通过将 token 调度、GPU 间通信和专家计算集成到单个 GPU 内核中来解决效率低下问题。这种方法旨在降低延迟，特别是在大规模 MoE 训练中，通信瓶颈会阻碍性能，尽管 NVIDIA 的 Blackwell GPU 和 NVLink 等硬件有所进步。这项创新标志着向应用程序级别定义算子以提取最大计算效率的转变。 AI
影响 通过减少通信开销来优化 MoE 模型训练，可能加速推理并降低计算成本。
排序理由 这是针对 AI 模型训练的软件优化，并非新的前沿模型发布或核心研究论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
