研究人员开发了MAPLE，一个新颖的框架，旨在优化混合专家（MoE）Transformer模型中专家的分配。与将专家均匀分布在所有层中的传统方法不同，MAPLE根据层级敏感性自适应地重新分配专家预算。这种即插即用方法在不改变模型权重或需要重新训练的情况下提高了性能。实验表明，MAPLE在DeepSeek-MoE-16B等模型上提高了准确性，并显著降低了服务延迟和提高了吞吐量。 AI
影响 这项研究可能导致更有效地部署大型MoE模型，降低计算成本并提高推理速度。
排序理由 该集群描述了一篇新颖的研究论文，详细介绍了一个用于优化MoE模型的新框架。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
