一篇新论文探讨了在线镜像下降（OMD）中近似误差的影响，OMD是优化和机器学习的核心算法。研究揭示了所用正则化器的平滑度与算法对这些误差的鲁棒性之间存在复杂的关联。具体来说，虽然均匀平滑的正则化器对超额遗憾有严格的界限，但像单纯形上的负熵这样的障碍正则化器对近似误差很敏感，需要指数级小的误差才能避免线性遗憾。然而，负熵在单纯形上的随机损失下可以恢复鲁棒性，尽管这种好处并不适用于所有子集。 AI
影响 这项研究为机器学习中使用的优化算法的实际局限性提供了理论见解。
排序理由 该集群包含一篇在arXiv上发表的同行评审学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
