Moreau envelope
PulseAugur coverage of Moreau envelope — every cluster mentioning Moreau envelope across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
用于约束机器学习的新型随机惩罚-障碍法
研究人员推出了一种新颖的约束机器学习（CML）方法——随机惩罚-障碍法（SPBM）。SPBM通过结合偶对偶变量的指数平均、稳定的惩罚计划以及莫罗包络（Moreau envelope）来解决非光滑性问题，从而改进了经典方法。该方法分析了小批量（mini-batching）引入的障碍函数偏差，并证明了变换后问题的可行集保持在原始约束之内。实验表明，SPBM在公平性（fairness）和物理信息神经网络（physics-informed n…
-
新研究量化了AI优化算法的理论极限 · 跟踪2个来源
两篇新研究论文探讨了非凸-强凸和非凸-凸极小极大问题的优化算法的理论极限。第一篇论文为随机算法建立了下界，匹配了现有的上界，并确定了必要的线性条件数依赖性。第二篇论文为利用方差缩减的算法提供了下界，扩展了先前的工作，并量化了噪声和域大小对复杂性的影响。
-
新算法解决了非凸多目标双层优化问题
研究人员开发了新的无Hessian算法MOMEHA和MB-MOMEHA，以解决多目标双层优化问题，特别是那些具有非凸下层的优化问题。这些方法利用Moreau包络将问题转化为具有包络约束的单层优化问题。这些算法通过单循环和无Hessian的计算效率，并结合平滑加权Tchebycheff标量化，保持了计算效率。在少样本元学习和神经架构搜索上的实验表明，这些新方法在帕累托前沿质量方面优于现有方法。
-
新的统一方法为收缩随机逼近提供了界限
研究人员开发了一种新颖的统一方法，用于建立随机逼近（SA）算法的均方界限和集中界限。该方法处理任意范数下的收缩映射和乘性噪声模型，这些在强化学习中很常见。新技术避免了复杂的平滑或包络构造，而是使用平均噪声序列和辅助迭代来推导直接的李雅普诺夫漂移不等式。这使得SA在乘性噪声下首次获得亚高斯尾部最大集中界限，步长可以对置信度进行对数依赖。
-
新方法针对随机凸优化的固定点
研究人员开发了一种在随机凸优化问题中寻找固定点的新方法。该方法旨在提供比以往方法更强的保证，力求确保目标函数的次微分包含一个小的元素。该技术利用维度理论来分析次微分的图，并展示了随机采样如何保留关键组成部分，从而能够有效地使用类似近点的方法。