Stochastic Gradient Methods for Distributionally Robust Optimization with f-divergences
PulseAugur coverage of Stochastic Gradient Methods for Distributionally Robust Optimization with f-divergences — every cluster mentioning Stochastic Gradient Methods for Distributionally Robust Optimization with f-divergences across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
Langevin Dynamics 论文探讨深度学习泛化难题
一篇新论文探讨了 Langevin 扩散动力学，重点关注一个被限制在势函数零集上的过程在大参数极限下的行为。该研究根据局部学习系数将零集划分为层，并证明了扩散收敛到一个偏向于高维层的随机演化。这项工作受到奇异学习理论和深度学习问题的启发，提出了随机梯度方法偏好奇异的、泛化良好的解的一种机制。
-
新研究保证了 SGD 训练的物理信息神经网络的收敛性
研究人员已经证明，在求解泊松方程时，随机梯度下降（SGD）训练过参数化两层物理信息神经网络（PINNs）的线性收敛性。该分析考虑了随机优化方法引入的动态随机性，为 SGD 训练的 PINNs 提供了收敛保证，扩展了先前的工作。该分析的关键在于确保训练过程中特定 Gram 矩阵的正定性。
-
New Operator Calculus Unifies Optimization Method Convergence Theory
研究人员开发了一个新的算子微积分框架，用于统一各种基于种群的优化方法的收敛性分析。该方法将进化策略和随机梯度方法等算法描述为基本算子的组合，从而得到由传输-反应-跳跃 (TRJ) PDE 描述的连续时间极限。该框架建立了一个模块化的李雅普诺夫原理，为认证这些复合平均场算法的收敛性提供了一个工具集。