实体
linear minimization oracle
linear minimization oracle
PulseAugur coverage of linear minimization oracle — every cluster mentioning linear minimization oracle across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新型优化器可自适应调整深度神经网络训练几何结构
研究人员开发了一种新颖的深度神经网络优化方法，通过动态选择自适应更新几何结构来实现。该方法源自梯度和激活统计数据，可以在标准SGD和更高级的优化器（如Muon）之间进行插值。通过集成逐参数预处理，该框架还可以恢复Adam和MuAdam等特定优化器。这种数据驱动的优化器在运行时开销仅略微增加的情况下，表现出与现有方法相当或更优的性能。
-
新研究确立了随机优化方法的下界
一篇新发表在arXiv上的论文介绍了一种分布式的下界，适用于应用于强凸集的随机一阶线性最小化预言器方法。这项研究填补了现有文献中的一个空白，现有文献主要关注确定性方法或像标准Frank--Wolfe算法这样的特定算法。研究结果为这些随机优化技术的性能设定了一个理论上限，表明随机化可能无法规避已建立的误差界限。