实体 MoE-LLMs

MoE-LLMs

PulseAugur coverage of MoE-LLMs — every cluster mentioning MoE-LLMs across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_48868 · May 21 · 22:23

新的GEMQ方法优化MoE LLM的内存和速度

研究人员开发了GEMQ，一种专为混合专家（MoE）大型语言模型（LLM）设计的混合精度量化新方法。该方法通过根据各个专家的重要性智能分配比特宽度，来解决MoE模型显著的内存开销问题。GEMQ利用全局线性规划方法进行重要性估计，并包含路由器微调以适应量化后的专家，从而在最小的精度损失下减少内存使用并加快推理速度。