实体
Schedule-Free
Schedule-Free
PulseAugur coverage of Schedule-Free — every cluster mentioning Schedule-Free across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
无调度优化方法在非凸环境中实现最优收敛速率
一篇新论文探讨了非凸优化中无调度方法的理论基础，非凸优化在机器学习中很常见。该研究为无调度梯度下降及其随机变体提供了最坏情况收敛速率分析，证明它们能实现一阶方法的最佳速率。研究还证明了这些方法可以避免严格鞍点，为它们的强大实证性能提供了理论解释。
-
新的 Muon 优化器变体提高了 LLM 训练效率和性能
多篇研究论文探讨了 Muon 优化器在训练大型语言模型和其他深度学习架构方面的进展和应用。MONA 将 Nesterov 加速引入 Muon，以提高收敛速度和下游任务性能，并在大型模型上取得了最先进的成果。MuCon 研究了对 Muon 更新进行裁剪，以在不进行完整奇异值分解的情况下近似其行为。另一项研究考察了 Muon 在对抗性训练中的有效性，表明在各种威胁模型和架构上，它可以与 SGD 和 AdamW 等标准优化器竞争或超越它们。…
-
研究发现Muon优化器在凸Lipschitz函数上失效
一篇新论文挑战了Muon优化算法的理论基础，证明它在凸Lipschitz函数上不收敛。研究表明，Muon的实际成功可能源于这种经典模型未能捕捉到的平滑特性。虽然误差反馈可以恢复理论收敛性，但它会降低在关键深度学习任务中的实际性能。