研究人员开发了一个新框架，以解决混合专家（MoE）大型语言模型（LLM）面临的三难困境，该困境涉及负载不平衡、参数冗余和通信开销。他们的方法使用动态专家聚类和结构化压缩，根据参数和激活相似性定期重新组合专家以稳定利用率。这种方法将每个组的参数减少多达五倍，同时保持专业化，从而带来显著的效率提升。在 GLUE 和 WikiText-103 上的评估表明，该框架在保持标准 MoE 模型质量的同时，总参数减少了约 80%，吞吐量提高了 10-20%，专家负载方差降低了三倍以上。 AI
影响 这项研究为更高效、可扩展的 MoE LLM 提供了一条途径，有望降低计算成本并提高性能。
排序理由 该集群包含一篇关于 MoE LLM 新框架的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
