PulseAugur
实时 12:54:48
实体 NormSiLU

NormSiLU

PulseAugur coverage of NormSiLU — every cluster mentioning NormSiLU across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_28307 ·

    新研究优化稀疏专家混合模型以实现高效的LLM扩展

    研究人员正在探索优化稀疏专家混合(SMoE)模型的新方法,这对于高效扩展大型语言模型至关重要。一篇论文揭示了路由器和专家之间的几何耦合,表明匹配的方向会累积相似的路由令牌历史,并且辅助负载均衡损失会破坏这种结构。另一项研究系统地分析了超过2000次预训练运行,以优化专家数量和粒度等设计选择,发现这些因素比共享专家或负载均衡机制等其他因素影响更大。第三篇论文介绍了DECO,一种专为端侧设备设计的SMoE架构,它以显著更少的激活参数匹配密…