D^2-MoE

新的 LorExperts 和 BTExperts 方法可有效压缩 MoE 模型

研究人员开发了两种新的方法，LorExperts 和 BTExperts，用于压缩混合专家（MoE）语言模型。这些技术旨在通过压缩专家权重矩阵来降低部署 MoE 模型的计算成本，同时保持准确性。LorExperts 对专家进行聚类，并使用一个主要的、全精度的专家，对其他专家进行低秩校正，保留原始路由器。BTExperts 进一步将这些专家组织成树状结构，以实现摊销计算。这两种方法在与现有基线相比时都显示出更高的性能，尤其是在专家数量增…