研究人员开发了一种优化解码过程中Mixture-of-Experts (MoE)模型的新方法,无需校准数据。提出的“Prox”系统用top-k方法和权重派生读取器取代了传统的基于阈值的通道选择。该方法显著加速了MoE推理,速度提升高达2.69倍,同时准确性损失极小,并缓解了Gemma 4等模型中观察到的重复循环崩溃等问题。 AI
影响 这项研究可以显著加速大型MoE模型的推理速度,使其在实时应用中更加实用。
排序理由 学术论文,详细介绍了一种优化MoE模型的新方法。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →