实体 Shuchen Zhu

Shuchen Zhu

PulseAugur coverage of Shuchen Zhu — every cluster mentioning Shuchen Zhu across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_327322 · Oct 28 · 04:00

新的LITE策略通过增强平坦方向动力学加速大语言模型预训练

研究人员开发了一种名为LITE的新加速策略，以提高大语言模型（LLM）预训练的效率。LITE通过在优化景观的平坦方向上应用更大的阻尼系数和学习率来增强训练动力学，这对于损失降低至关重要。该方法已被证明可以在各种模型架构、参数规模和数据集上显著加速Muon和SOAP等优化器，为更高效的大语言模型预训练提供了一种有原则的方法。