PulseAugur
中
实时 08:49:10
实体 NVIDIA-Upcycling

NVIDIA-Upcycling

PulseAugur coverage of NVIDIA-Upcycling — every cluster mentioning NVIDIA-Upcycling across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_289246 ·

    DivMoE框架能够实现高效的细粒度MoE模型升级

    研究人员开发了DivMoE，一个用于从预训练的密集模型高效创建专家混合（MoE）模型的新框架。先前的方法在细粒度升级方面存在困难，导致准确率下降。DivMoE通过使用领域专业化专家初始化和多样性约束路由来解决这个问题，确保更好的性能并避免准确率回归。该框架已显示出具有竞争力的结果，在准确率方面可与更大的模型相媲美，同时使用的参数更少。