研究人员开发了MAESTRO，一个新颖的结构化剪枝框架，旨在解决Mixture-of-Experts (MoE)语言模型的部署瓶颈。与使用局部启发式方法的先前技术不同，MAESTRO将专家激活轨迹建模为马尔可夫链，以捕捉跨层依赖性，提供全局感知的关键度启发式。该方法显著提高了性能保持率，在50%压缩机制下，性能优于现有方法高达10.61%，并在安全、偏见和伦理等多样化任务中展现出更一致的泛化能力。 AI
影响 这项研究可能通过在不显著损失性能的情况下减小大型语言模型的内存占用，从而实现更高效的部署。
排序理由 该集群包含一篇详细介绍AI模型剪枝新方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.08601v1 Announce Type: new Abstract: Sparsely-activated Mixture-of-Experts (MoE) language models achieve remarkable inference efficiency by activating only a small fraction of parameters per token, yet their full expert banks reside in memory at all times, creating a p…
Sparsely-activated Mixture-of-Experts (MoE) language models achieve remarkable inference efficiency by activating only a small fraction of parameters per token, yet their full expert banks reside in memory at all times, creating a prohibitive deployment bottleneck. Existing struc…