实体 LLaMA-1.3B

LLaMA-1.3B

PulseAugur coverage of LLaMA-1.3B — every cluster mentioning LLaMA-1.3B across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_312754 · Oct 21 · 04:00

新的混合动量优化器增强深度学习训练

研究人员开发了一种名为混合动量（HyM）的新型优化技术，用于深度学习模型。HyM 将过去梯度的线性加权平均与几何衰减的快速动量相结合，旨在更好地保留长期历史信息，同时适应近期变化。一种名为 HyMUON 的特定实现，结合了牛顿-舒尔茨正交化，在图像分类、机器翻译和语言建模任务中表现出优于现有方法的性能。值得注意的是，与 Muon 优化器相比，HyMUON 在 GPT-2 124M 和 LLaMA-1.3B 预训练中取得了更好的验证损失。