实体 Mamba-2 130M

Mamba-2 130M

PulseAugur coverage of Mamba-2 130M — every cluster mentioning Mamba-2 130M across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_183349 · Aug 5 · 04:00

Muon 优化器在 Mamba-2 130M 上显示出代币效率提升

一篇新的研究论文探讨了 Muon 优化器的有效性，该优化器使用牛顿-舒尔茨迭代法在谱范数下进行最速下降，应用于状态空间模型。该研究将 Muon 与 AdamW 在 Mamba-2 130M 模型上进行了比较，发现仅将 Muon 应用于输出投影就能带来最显著的代币效率提升。这种优势在不同的语料库和训练时长中都得到了观察，并且不能用输入投影的条件改进来解释。