PCoMoE

PCoMoE 框架通过细粒度路径组合将 MoE LLM 推理速度提升 31%

研究人员推出了一种名为 PCoMoE 的新颖框架，旨在提高专家混合（MoE）大型语言模型（LLM）的推理效率。与将整个专家视为原子单元的传统方法不同，PCoMoE 实现了细粒度的路径组合，从而能够进行更灵活、更高效的计算。该方法包含一个路径级公式、一种兼容性感知剪枝策略以消除冗余路径组合，以及一个专门的执行引擎。实验表明，PCoMoE 可将推理速度提高高达 1.31 倍，同时将模型准确率提高 10%。