PulseAugur
中
实时 10:13:46
实体 Mixture of Reused Experts (MoRE)

Mixture of Reused Experts (MoRE)

PulseAugur coverage of Mixture of Reused Experts (MoRE) — every cluster mentioning Mixture of Reused Experts (MoRE) across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_259199 ·

    新的MoRE架构结合了专家复用和MoE，提高了效率

    研究人员推出了一种新颖的神经网络架构——混合复用专家（MoRE），它结合了循环Transformer的参数效率和混合专家（MoE）模型的能力。MoRE通过在相邻层之间共享专家池来解决传统MoE的高内存占用问题，从而在不增加参数的情况下实现更大的路由多样性。实验表明，在困惑度和下游任务方面，MoRE在各种模型规模上均优于现有的权重共享架构和标准MoE。