PulseAugur
实时 07:11:18
实体 Mixture-of-Experts (MoE) Large Language Models (LLMs)

Mixture-of-Experts (MoE) Large Language Models (LLMs)

PulseAugur coverage of Mixture-of-Experts (MoE) Large Language Models (LLMs) — every cluster mentioning Mixture-of-Experts (MoE) Large Language Models (LLMs) across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_156418 ·

    新框架通过动态聚类和压缩解决 MoE LLM 的三难困境

    研究人员开发了一个新框架,以解决混合专家(MoE)大型语言模型(LLM)面临的三难困境,该困境涉及负载不平衡、参数冗余和通信开销。他们的方法使用动态专家聚类和结构化压缩,根据参数和激活相似性定期重新组合专家以稳定利用率。这种方法将每个组的参数减少多达五倍,同时保持专业化,从而带来显著的效率提升。在 GLUE 和 WikiText-103 上的评估表明,该框架在保持标准 MoE 模型质量的同时,总参数减少了约 80%,吞吐量提高了 10…