实体
PCoMoE
PCoMoE
PulseAugur coverage of PCoMoE — every cluster mentioning PCoMoE across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
PCoMoE 框架通过细粒度路径组合将 MoE LLM 推理速度提升 31%
研究人员推出了一种名为 PCoMoE 的新颖框架，旨在提高专家混合（MoE）大型语言模型（LLM）的推理效率。与将整个专家视为原子单元的传统方法不同，PCoMoE 实现了细粒度的路径组合，从而能够进行更灵活、更高效的计算。该方法包含一个路径级公式、一种兼容性感知剪枝策略以消除冗余路径组合，以及一个专门的执行引擎。实验表明，PCoMoE 可将推理速度提高高达 1.31 倍，同时将模型准确率提高 10%。
-
PCoMoE 框架提升 MoE LLM 推理速度和准确性
研究人员推出 PCoMoE，一个旨在优化混合专家（MoE）大语言模型推理的新框架。与将整个专家视为原子单元的现有方法不同，PCoMoE 支持细粒度的路径组合，通过选择和组合子专家结构来实现更高效的计算。该方法包括路径级公式化、低价值组合的剪枝策略以及硬件优化的执行引擎。实验表明，PCoMoE 可实现高达 1.31 倍的推理速度提升，同时将模型准确性提高 10%。