研究人员开发了一种新颖的方法来近似概率测度上的随机梯度下降(SGD)动力学,特别是在Wasserstein空间P2内。通过将问题提升到一个线性的希尔伯特空间并利用Lions可微性,他们构建了一个高斯随机场近似。该近似匹配原始随机梯度的均值和协方差,并以二阶弱精度捕捉SGD动力学,为在随机优化中用解析上可处理的高斯涨落替换样本驱动的随机性提供了一种严谨的方法。 AI
影响 这项研究可能为机器学习模型的更有效和理论上更扎实的优化技术带来突破。
排序理由 该集群包含一篇详细介绍新数学优化方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Gaussian random field
- Hilbert space
- Lions differentiability
- stochastic gradient descent
- Wasserstein space
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →