Mirror descent
PulseAugur coverage of Mirror descent — every cluster mentioning Mirror descent across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新框架统一了用于统计分析的一阶优化不等式
一篇新论文介绍了用于一阶优化算法的“基本不等式”，提供了一个连接隐式和显式正则化的框架。该框架根据累积步长和迭代点之间的几何距离，对目标函数与参考点之间的差异进行界定。该研究扩展了梯度下降的现有结果，并为镜像下降和其他一阶方法提供了新的发现，其应用包括使用早期停止的梯度下降和指数梯度下降来推导广义线性模型中预测风险的界限。
-
新的分类法使用拉格朗日乘子对非凸优化机制进行分类
一篇新的研究论文通过分析KKT平稳点处拉格朗日乘子的特征，引入了一种非凸优化问题的分类法。该分类法将问题分为五种运行机制：无约束、资源受限、饱和、强耦合和混合。该框架旨在为非凸优化的算法设计和鲁棒性分析提供基础工具，数值实验验证了其理论预测。
-
新证明确立了镜像下降在非凸问题上的收敛性
研究人员为镜像下降在非凸优化问题上的收敛性提供了证明，特别解决了不排除边界限制的情况。该证明依赖于一种新颖的度量展平重参数化方法，该方法允许定义边界扩展。当应用于涉及香农熵、费米-狄拉克熵和幂核的目标时，该框架证明了收敛到 KKT 点。未来的工作旨在将此方法扩展到更广泛的 Bregman 型算法和更复杂的约束几何。
-
新研究表明熵平滑凸优化无法加速
arXiv上发表的一篇由Dragomir等人撰写的论文表明，熵平滑凸优化无法加速。该研究证明了该类函数中最小化方法的收敛速率的下界，表明一阶方法在对数因子内是最优的。这一发现尤其值得注意，因为在标准的平滑假设下通常可以使用加速方法，但这项工作表明对于具有有利结构的特定近函数，无法实现加速。
-
新的镜像下降框架将优化扩展到黎曼流形
研究人员开发了一个广义的黎曼流形上镜像下降（MD）框架，将其适用性扩展到复杂的优化问题。这个新的黎曼镜像下降（RMD）框架包含一个随机变体，并提供非渐近收敛保证。当应用于Stiefel流形时，RMD框架简化为曲边梯度下降（CGD），其随机扩展有效地解决了大规模流形优化问题。
-
新框架将群论与灵活的机器学习优化联系起来
研究人员开发了一个新框架，将群论和群熵与机器学习相结合，创建了一系列灵活的Mirror Descent优化算法。该方法使用由群组合律控制的广义熵泛函，扩展了现有的如Shannon和Tsallis熵等方法。通过利用群论的Mirror Maps和调整超参数，新方法可以实现针对不同数据几何和统计分布的自适应更新。