Natural Gradient Descent
PulseAugur coverage of Natural Gradient Descent — every cluster mentioning Natural Gradient Descent across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新研究质疑梯度下降方法的最优性
两篇新研究论文探讨了梯度下降算法在机器学习中的理论基础和实际应用。第一篇论文分析了自然梯度下降（NGD），根据参数维度和函数属性确定了三个区域，对于高斯协方差等某些族，NGD的效率随着维度的对数而增长。第二篇论文证明，对于标准的凸优化，即使在无噪声情况下，梯度下降（或SGD）的最终迭代也无法在不知道总步数的情况下达到最优收敛速率。
-
Ising 与 QUBO 编码对玻尔兹曼机学习收敛性的影响
一篇新的研究论文评估了 Ising 和 QUBO 变量编码在玻尔兹曼机学习中的性能。研究发现，QUBO 编码可能导致 Fisher 信息矩阵的病态，从而导致随机梯度下降的收敛速度变慢。然而，使用自然梯度下降或适当的预处理技术可以缓解这些问题，从而在两种编码类型之间实现相似的收敛速度。这些发现为选择玻尔兹曼机的变量编码和预处理方法提供了实用的指导。
-
分析 Adam 优化器与自然梯度下降的几何偏差
一篇新研究论文调查了深度学习中常用的优化算法 Adam 及其与自然梯度下降 (NGD) 的关系。该研究分析了 Adam 的更新规则，包括动量，并将其视为对经验 Fisher 矩阵的近似，并进行了多项修改。研究人员在各种损失曲面上测量了 Adam 相对于 NGD 的几何偏差，发现偏差是依赖于上下文的，在病态条件和非凸神经网络中显著增加。虽然较高的几何漂移与较慢的初始优化相关，但并未损害最终目标最小化，这表明 Adam 的有效性可能源于近…
-
论文对比了在KLR训练的Hopfield网络上梯度下降与自然梯度下降
一篇新论文分析了高容量联想记忆中学习动力学的几何，特别是核逻辑回归（KLR）训练的Hopfield网络。它在“优化脊”上比较了梯度下降（GD）和自然梯度下降（NGD），揭示了GD由于极端曲率而沿着不稳定的振荡路径。然而，NGD纠正了这种几何形状，沿着测地线路径收敛更快并产生更好的泛化。
-
新的DP-NGD框架提升了隐私保护机器学习的效用和速度 · 跟踪2个来源
研究人员开发了DP-NGD，一个新颖的差分隐私自然梯度下降框架，旨在提高隐私保护机器学习的效用。与忽略损失曲率的标准DP-SGD不同，DP-NGD整合了这一信息，以实现更快的收敛速度和更高的准确性。该框架通过解耦曲率估计并采用具有动态钳制的白化空间机制，解决了隐私预算消耗和训练不稳定性等挑战。
-
新研究从进化原理推导出先进的优化器
研究人员开发了一种新方法，直接从进化原理推导出先进的优化算法，统一了先前不同的进化观。该方法引入了达尔文谱系模拟（DLS）来证明在无性繁殖背景下Fisher和Wright的进化理论的正式等价性。研究证明，包括随机梯度下降和自然梯度下降在内的许多现有优化算法都与进化动力学兼容，并且可以通过添加DLS噪声使其成为科学上有效的模拟。