实体
Polyak
Polyak
PulseAugur coverage of Polyak — every cluster mentioning Polyak across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
研究人员详细介绍了改进的动量梯度下降损失
研究人员发布了对 Polyak 重球动量梯度下降算法的细粒度分析。该研究证明，在某些条件下，该算法表现得像具有改进损失函数的普通梯度下降。这种改进的损失虽然没有封闭形式的表达式，但可以任意有限阶进行近似，从而提供严格的轨迹近似界限。分析还揭示了算法组合中与欧拉多项式和那拉扬多项式相关的一系列多项式，为理解其机制提供了新的见解，并为分析其他优化算法提供了潜在的路线图。
-
AF-Muon 优化器取代 AdamW 用于绑定嵌入模型，节省内存
研究人员开发了 AF-Muon，一种无需在绑定嵌入模型中使用 AdamW 的优化器，可能节省约 20% 的优化器状态内存。这种新方法在隐藏权重矩阵上保持了 Muon 的谱范数最陡下降更新，同时为绑定词汇表采用了支持感知线性最小化。AF-Muon 在包括语言模型、图像模型和蛋白质序列在内的各种模型架构和数据模态中，以最小的开销展示了平均验证损失和困惑度的稳健改进。
-
新研究详细介绍了动量在大批量 AI 训练中的作用
一篇新研究论文探讨了动量如何影响机器学习中的大批量训练，以幂律核回归作为模型。该研究定义了一个临界学习率来表征风险稳定性，并推导了训练动力学的标度律。研究表明，Polyak 的方法扩大了临界批量大小，允许在不损失数据效率的情况下实现更大的并行性，而 Nesterov 的方法通过减少噪声累积提高了在大批量场景下的数据效率。