Dynamic Structural Pruning

新的ToMoE方法将密集型LLM转换为混合专家模型

研究人员开发了一种名为ToMoE的方法，可以将密集型大型语言模型转换为混合专家（MoE）架构。该技术使用可微分动态剪枝来降低计算和内存成本，而无需永久删除模型参数，从而最大限度地减少性能下降。ToMoE方法已在包括Phi-2、LLaMA-2、LLaMA-3和Qwen-2.5在内的各种模型系列中显示出有效性，即使在未经微调的情况下也优于以前的结构化剪枝技术。