Polyak-Lojasiewicz
PulseAugur coverage of Polyak-Lojasiewicz — every cluster mentioning Polyak-Lojasiewicz across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的CS-SAM方法提高了深度神经网络训练的收敛性
研究人员引入了曲率缩放的锐度感知最小化(CS-SAM),这是一种旨在提高深度神经网络训练收敛性的新颖方法。与传统的SAM不同,CS-SAM不需要严格的光滑性假设,在广义光滑条件下分析扰动效应。所提出的方法统一界定了失真,并实现了非凸目标的确定性收敛速率以及Polyak-Lojasiewicz条件下的线性收敛。在计算机视觉任务上的实验结果表明,CS-SAM具有竞争力且测试精度高。
-
已证明两层线性网络的全局指数收敛性
研究人员已证明,使用光滑的Polyak-Lojasiewicz预测损失函数,可以实现宽两层线性网络的全局指数收敛。研究表明,因子中的梯度流可以通过有限维Bures流精确描述,该流受神经元定律协方差的影响。只要初始协方差满足谱支撑间隙条件,均值场守恒定律就能建立隐藏预处理块的谱下界,从而进一步支持了这种收敛速率。这些发现延伸到深度线性ResNets,并通过比较预测速率和观察速率的数值实验进行了说明。
-
新的优化算法在极小极大问题上实现了改进的复杂度
研究人员开发了新的偏差校正动量算法,改进了非凸强凹极小极大优化问题的样本复杂度。这些算法实现了 O(ε−3) 的较低迭代复杂度,优于先前需要 O(ε−4) 的算法。这些新颖方法的有效性已通过其在鲁棒逻辑回归和鲁棒自适应巡航控制系统中的应用得到证明。
-
新的AI方法应对持续学习和函数梯度下降
研究人员提出了持续学习AI模型的新方法,解决了在不损害现有能力的情况下整合新知识的挑战。一种方法KeepLoRA++利用层缩放残差梯度自适应来平衡视觉-语言模型中的知识保留和可塑性。另一种方法ReGrad将梯度视为可检索单元,从而无需累积权重漂移即可进行参数化知识注入。此外,一种新的函数梯度下降算法可以自适应函数梯度表示,提供改进的收敛保证和性能。