Frank Wolfe
PulseAugur coverage of Frank Wolfe — every cluster mentioning Frank Wolfe across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新研究确立了在线学习遗憾率的下界
Weibel 等人发表在 arXiv 上的一篇新论文，讨论了凸集在线学习中的遗憾率问题。该研究证明了一个猜想，即固定系数方法无法超越 $T^{3/4}$ 的遗憾率，并将此下界扩展到预言机模型中的确定性学习器。论文构建了特定的实例来证明这些下界，其中一个构造实现的遗憾至少为 $2^{-1/4}LDb^{-1/4}T^{3/4}$，而另一个在不同条件下实现的遗憾至少为 $3LDT^{3/4}/4$。
-
新算法解决复杂多层优化问题 · 2篇论文
两篇新研究论文介绍了解决复杂优化问题的新型算法。第一篇论文“通过多块单探针估计器求解有限和耦合组合优化”提出了一种多块单探针方差缩减（MSVR）估计器，以有效地处理具有多个嵌套函数且在每次迭代中只能采样部分块的问题。第二篇论文“随机约束组合优化的无投影多层算法”侧重于具有约束的嵌套优化问题的无投影方法，开发了依赖于线性最小化预言机并为各种目标类型提供复杂度保证的算法。
-
新的Frank-Wolfe算法针对具有稀疏性的凸函数最小化
研究人员开发了Frank-Wolfe（FW）系列中的新型加速一阶算法，用于最小化光滑凸函数。这些算法特别关注两种约束类别：多面体和矩阵域。一项关键的技术贡献是解决解稀疏性的互补条件，该条件与多面体的面维数和矩阵的秩有关。所提出的方法包括一种纯粹的线性优化预言机（LOO）方法，用于具有最优预言机复杂度的多面体，以及一种结合FW和稀疏投影预言机的混合方案，用于矩阵域，两者都实现了独立于环境维度的有效收敛。
-
新的分类法使用拉格朗日乘子对非凸优化机制进行分类
一篇新的研究论文通过分析KKT平稳点处拉格朗日乘子的特征，引入了一种非凸优化问题的分类法。该分类法将问题分为五种运行机制：无约束、资源受限、饱和、强耦合和混合。该框架旨在为非凸优化的算法设计和鲁棒性分析提供基础工具，数值实验验证了其理论预测。
-
新算法提高了John Ellipsoid近似的精度
研究人员开发了用于近似对称多面体的John Ellipsoid的新算法，改进了现有的Leverage-Score方法。这些算法将计算的复杂性分为不同的成本：认证、识别和精度。新方法为精度提供了显著更快的收敛速度，在初始设置阶段后，将精度对近似参数\(\varepsilon\)的依赖性降低到双对数级别。
-
新的优化方法 Local LMO 绕过了投影
研究人员引入了 Local LMO，一种用于约束优化问题的新型无投影梯度方法。该方法用当前迭代点周围小球内的局部线性最小化步骤替换了 Frank-Wolfe 的全局线性最小化步骤。Local LMO 在各种情况下提供了与投影梯度下降相当的收敛速度，包括约束集无界的场景，并为光滑强凸函数实现了线性收敛速度。
-
研究人员探索模型合并技术以结合人工智能能力
两篇新的arXiv论文探讨了新兴的模型合并领域，该领域可以在无需访问原始训练数据的情况下组合独立训练的神经网络。第一篇论文介绍了用于单任务和多任务设置的C$^2$M$^3$和MERGE$^3$等算法，为组合学习能力提供了理论基础。第二篇论文研究了影响合并成功的因素，确定梯度对齐指标是兼容性的关键指标，并提出了面向合并的微调策略。