PulseAugur
中
实时 12:14:07
实体 Mean Activation Norm

Mean Activation Norm

PulseAugur coverage of Mean Activation Norm — every cluster mentioning Mean Activation Norm across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_93651 ·

    新表述统一了专家混合模型的专家剪枝

    研究人员为“一次性”专家混合（MoE）语言模型的专家剪枝开发了一种统一的表述。这种新方法围绕路由频率、门控权重和激活强度来组织剪枝标准。该表述引出了一种基于任务是否为与任务无关或与任务相关的选择剪枝标准的原则。引入了两种新的与任务无关的标准：平均激活范数（MAN）和平均平方激活范数（MSAN），并在各种 MoE 模型和基准测试中展示了强大的性能。