研究人员开发了FluxMoE，一个旨在提高混合专家（MoE）模型服务效率的新系统。FluxMoE通过将专家参数与持久GPU内存解耦来解决MoE模型中参数量大的挑战。它将专家参数视为按需加载和卸载的瞬态资源，从而为KV缓存等关键运行时状态释放GPU内存。这种方法可以显著提高服务吞吐量，尤其是在内存受限的环境中。 AI
影响 增强MoE服务效率，可能在内存限制下以更高的吞吐量部署更大的模型。
排序理由 这是一篇研究论文，详细介绍了一种提高MoE模型推理效率的新系统。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
arXiv:2604.02715v2 Announce Type: replace Abstract: Mixture-of-Experts (MoE) models have become a dominant paradigm for scaling large language models, but their rapidly growing parameter sizes introduce a fundamental inefficiency during inference: most expert weights remain idle …