Stochastic Gradient Methods for Distributionally Robust Optimization with f-divergences
PulseAugur coverage of Stochastic Gradient Methods for Distributionally Robust Optimization with f-divergences — every cluster mentioning Stochastic Gradient Methods for Distributionally Robust Optimization with f-divergences across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新研究推进随机梯度方法收敛性分析
一篇新发表在arXiv上的论文详细介绍了随机梯度方法在无界问题上的收敛性分析的进展。研究人员Kevin Kurian、Thomas Vaidyan等人开发了新的方法来分析近邻和投影随机梯度方法的最后迭代收敛性。这些方法放宽了通常对有界域或方差所做的假设,在知道时间范围的情况下,实现了近乎最优的任意时间率 $\widetilde{\mathcal{O}}(1/\sqrt{T})$ 和最优率 $\mathcal{O}(1/\sqrt{T})$。
-
新方法使用正交框架近似分布,用于无监督学习
一篇新研究论文介绍了一种使用正交框架近似概率分布的方法,该方法与因子分析和子空间聚类等无监督学习任务相关。所提出的方法将问题构建为正交群上的非光滑优化任务。作者证明,在某些假设下,经验风险最小化器和随机梯度方法都可以实现接近参数的恢复率,克服了经验目标函数缺乏光滑性带来的挑战。
-
新的“反偏倚”标准增强了贝叶斯实验设计
研究人员引入了一个名为“反偏倚”(BA)的新标准,用于贝叶斯最优实验设计(BOED),旨在比传统的预期信息增益(EIG)标准更有效地控制误导性证据。这种新方法被整合到一个基于策略的深度自适应设计框架中,利用蒙特卡洛近似和随机梯度方法进行优化。通过复杂离散选择实验的自适应设计等示例,证明了BA设计的有效性。
-
Langevin Dynamics 论文探讨深度学习泛化难题
一篇新论文探讨了 Langevin 扩散动力学,重点关注一个被限制在势函数零集上的过程在大参数极限下的行为。该研究根据局部学习系数将零集划分为层,并证明了扩散收敛到一个偏向于高维层的随机演化。这项工作受到奇异学习理论和深度学习问题的启发,提出了随机梯度方法偏好奇异的、泛化良好的解的一种机制。
-
新研究保证了 SGD 训练的物理信息神经网络的收敛性
研究人员已经证明,在求解泊松方程时,随机梯度下降(SGD)训练过参数化两层物理信息神经网络(PINNs)的线性收敛性。该分析考虑了随机优化方法引入的动态随机性,为 SGD 训练的 PINNs 提供了收敛保证,扩展了先前的工作。该分析的关键在于确保训练过程中特定 Gram 矩阵的正定性。
-
New Operator Calculus Unifies Optimization Method Convergence Theory
研究人员开发了一个新的算子微积分框架,用于统一各种基于种群的优化方法的收敛性分析。该方法将进化策略和随机梯度方法等算法描述为基本算子的组合,从而得到由传输-反应-跳跃 (TRJ) PDE 描述的连续时间极限。该框架建立了一个模块化的李雅普诺夫原理,为认证这些复合平均场算法的收敛性提供了一个工具集。