PulseAugur
中
实时 11:56:58
实体 Sharpness-aware Orthogonalized Momentum Algorithm

Sharpness-aware Orthogonalized Momentum Algorithm

PulseAugur coverage of Sharpness-aware Orthogonalized Momentum Algorithm — every cluster mentioning Sharpness-aware Orthogonalized Momentum Algorithm across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_324894 ·

    新的SOMA算法通过高效的锐度惩罚增强LLM训练

    研究人员推出了一种新的优化技术——锐度感知正交动量算法(SOMA),旨在提高大型语言模型(LLM)的泛化能力和鲁棒性。SOMA将计算高效的扰动方案与Muon算法相结合,利用陈旧的随机梯度噪声进行对抗性扰动。该方法旨在减轻LLM中传统锐度惩罚的高昂成本。该论文从理论上证明了SOMA的样本复杂度与扰动方向无关,并探讨了其在减少训练后量化造成的质量下降以及防止LLM微调过程中灾难性遗忘方面的有效性。