实体
Natural Gradient Descent
Natural Gradient Descent
PulseAugur coverage of Natural Gradient Descent — every cluster mentioning Natural Gradient Descent across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的DP-NGD框架提升了隐私保护机器学习的效用和速度 · 跟踪2个来源
研究人员开发了DP-NGD，一个新颖的差分隐私自然梯度下降框架，旨在提高隐私保护机器学习的效用。与忽略损失曲率的标准DP-SGD不同，DP-NGD整合了这一信息，以实现更快的收敛速度和更高的准确性。该框架通过解耦曲率估计并采用具有动态钳制的白化空间机制，解决了隐私预算消耗和训练不稳定性等挑战。
-
新研究从进化原理推导出先进的优化器
研究人员开发了一种新方法，直接从进化原理推导出先进的优化算法，统一了先前不同的进化观。该方法引入了达尔文谱系模拟（DLS）来证明在无性繁殖背景下Fisher和Wright的进化理论的正式等价性。研究证明，包括随机梯度下降和自然梯度下降在内的许多现有优化算法都与进化动力学兼容，并且可以通过添加DLS噪声使其成为科学上有效的模拟。