PulseAugur
实时 11:06:01
实体 MomentUm SpEctral Clipping

MomentUm SpEctral Clipping

PulseAugur coverage of MomentUm SpEctral Clipping — every cluster mentioning MomentUm SpEctral Clipping across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_247779 ·

    新的Musec优化器增强了LLM训练稳定性

    研究人员推出了一种新颖的优化器MomentUm SpEctral Clipping (Musec),旨在稳定大型语言模型的训练。Musec解决了μ子优化器固有的不稳定性问题,该优化器通常优于Adam和AdamW,但可能出现损失尖峰和权重无界增长。与需要架构修改的先前方法不同,Musec实现了一种优化器级别的谱裁剪机制,该机制保留了动量矩阵的谱结构。该论文还详细介绍了一种名为Soft Musec的高效实现,它为非凸、非光滑随机优化提供了…