Hybrid Momentum Stochastic Frank--Wolfe

新的优化方法通过并行化和随机缩放提高机器学习效率 · 跟踪 3 个来源

研究人员开发了新的机器学习优化技术，重点是提高二阶方法的效率。第一篇论文介绍了 Split-Client，一种将 Hessian 分解与梯度步骤分离以减少实际运行时间（wall-clock time）的并行方法。第二篇论文提出了 RanSOM，它使用随机缩放来实现约束和无约束优化问题的最优预言复杂度指数。第三篇论文提出了混合动量随机 Frank-Wolfe 方法，用于随机组合优化，为非凸目标和重尾噪声提供了改进的收敛速度。