研究人员开发了一种新的近端随机次梯度方法,用于最小化非凸优化问题中的期望成本。该方法适用于广泛的潜在非光滑和非凸积分函数,前提是它们满足下降引理的局部变体。该方法逐步改进样本平均值,并使用Armijo型线搜索来选择步长,即使对于非凸正则化器和没有严格方差界限也能提供收敛保证。该框架建立了函数值的几乎确定收敛性和累积点的平稳性,并在Kurdyka-Łojasiewicz性质下进一步升级为完整的轨迹收敛。 AI
影响 这项研究可能导致更有效的训练方法,用于具有非凸目标函数的复杂AI模型。
排序理由 关于一种新颖优化方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →