研究人员开发了两种新的方法，LorExperts 和 BTExperts，用于压缩混合专家（MoE）语言模型。这些技术旨在通过压缩专家权重矩阵来降低部署 MoE 模型的计算成本，同时保持准确性。LorExperts 对专家进行聚类，并使用一个主要的、全精度的专家，对其他专家进行低秩校正，保留原始路由器。BTExperts 进一步将这些专家组织成树状结构，以实现摊销计算。这两种方法在与现有基线相比时都显示出更高的性能，尤其是在专家数量增加时，证明了它们在 Qwen3-30B-A3B 和 Gemma-4-26B-A4B 等模型上以显着压缩率保持准确性的有效性。 AI
影响 这些压缩技术可以显着降低部署大型 MoE 模型的成本，使先进的 AI 更易于访问。
排序理由 该集群包含一篇详细介绍压缩 MoE 语言模型新方法的 ist 研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- BTExperts
- D^2-MoE
- Gemma 4 26B-A4B
- Inesh Chakrabarti
- LorExperts
- mixture of experts
- Qwen3-30B-A3B
- Reap
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
