PulseAugur
中
实时 07:57:35
实体 Spectral-MoE

Spectral-MoE

PulseAugur coverage of Spectral-MoE — every cluster mentioning Spectral-MoE across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_295259 ·

    新的Spectral-MoE方法优化了LLM跨层的专家利用率

    研究人员开发了Spectral-MoE,一种将密集大型语言模型转换为混合专家(MoE)架构的新颖方法。与之前在所有层使用统一专家利用率的方法不同,Spectral-MoE允许异构专家分配,这意味着不同层可以使用不同数量的专家。这种方法在Llama-2 7B和Llama-3 8B等模型上得到了验证,与统一利用率相比,它显著降低了困惑度并提高了任务准确性。另一项相关技术侧重于通过利用相关性专家分配来减少MoE预训练中的通信开销,这可以大大…