Fireworks AI 已开源其近期与 MiniMax AI 合作背后的内核存储库。此次发布包括对 MiniMax Sparse Attention (MSA) 的优化,通过改进注意力内核加载和存储管道,实现了 1.6 倍的吞吐量提升。该公司表示,权重并非唯一应该开源的东西,强调了分享这些底层优化的价值。 AI
影响 提高了 AI 推理基础设施的透明度以及社区驱动改进的潜力。
排序理由 针对特定 AI 模型开源推理内核和优化。[lever_c_demoted from research: ic=1 ai=0.7]
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →