实体 LLaMA2-130M

LLaMA2-130M

PulseAugur coverage of LLaMA2-130M — every cluster mentioning LLaMA2-130M across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_147472 · Jul 16 · 03:42

新的“Muse”优化器探索LLM的表示几何

研究人员推出了一系列新颖的优化器“Muse”，专为大型语言模型设计，用于探索参数表示的几何特性。与标准的Muon风格优化器不同，Muse的更新受到正交化前每个参数块表示的影响。在LLaMA2-130M和LLaMA2-600M上的实验表明，平衡的非原生表示可以达到与原生表示相当的性能，而减小较短的维度会削弱缩放和单通道支持。