PulseAugur
中
实时 13:22:01

新模型分析具有重尾噪声的随机镜像下降法

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员引入了一种用于随机镜像下降法（SMD）的连续时间模型，该模型考虑了重尾噪声。该模型称为Lévy镜像流（LMF），旨在分析SMD在受到无限方差随机梯度输入时的一致性保证。研究表明，即使存在显著的跳跃不连续性，LMF仍能在特定时间范围内实现$\\epsilon$-最优性，并为SMD变体提供了相应的离散时间保证。 AI

影响 为鲁棒优化算法引入理论框架，可能提高AI模型训练的稳定性。

排序理由 该集群包含一篇详细介绍优化算法新理论模型的学术论文。

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新模型分析具有重尾噪声的随机镜像下降法

报道来源 [2]

  1. arXiv cs.LG TIER_1 English(EN) · Pierre-Louis Cauvin, Panayotis Mertikopoulos ·

    Bregman会见L'evy：连续和离散时间下的重尾噪声随机镜像下降

    arXiv:2606.03769v1 Announce Type: cross Abstract: We study the robustness of stochastic mirror descent (SMD) under heavy-tailed noise, focusing on whether the method retains its convergence guarantees when run with infinite-variance stochastic gradient input. To address this ques…

  2. arXiv cs.LG TIER_1 English(EN) · Panayotis Mertikopoulos ·

    Bregman会见Lévy：连续和离散时间下的重尾噪声随机镜像下降

    We study the robustness of stochastic mirror descent (SMD) under heavy-tailed noise, focusing on whether the method retains its convergence guarantees when run with infinite-variance stochastic gradient input. To address this question in a principled manner, we begin by introduci…

相关话题