实体 Gram--Schmidt

Gram--Schmidt

PulseAugur coverage of Gram--Schmidt — every cluster mentioning Gram--Schmidt across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_327029 · Oct 28 · 04:00

MuonGS 通过新颖的权重范数控制增强大语言模型预训练

研究人员推出了一种新颖的大语言模型预训练方法 MuonGS，该方法通过宽松的权重范数控制来增强优化器性能。该方法使用累积有效学习率分析范数控制，并证明 MuonGS 通过使用 Gram--Schmidt 投影，保证了持续的范数累积和更快的收敛速度。在参数量从 1.35 亿到 10 亿的模型上进行的实验表明，与 MuonH 等现有方法相比，MuonGS 实现了更低的验证困惑度，并估计其加速比高达 15%。