AdaGrad
PulseAugur coverage of AdaGrad — every cluster mentioning AdaGrad across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
UniDot架构统一推荐模型，在KDD Cup 2026中获得亚军
研究人员开发了UniDot，一种用于点击后转化预测的新型架构，它统一了特征交互和序列建模。通过将非序列特征和行为序列分词到一个共享空间，UniDot能够通过单一的点积来处理推荐的这两个方面。该模型在TAAC KDD Cup 2026的工业赛道中获得亚军。
-
AI训练效率：梯度优化方法基准测试
一篇新的研究论文在受限硬件上对五种梯度优化器和三种内存策略进行了AI训练基准测试。研究发现，梯度累积是在不同架构上降低训练损失最有效的策略，而梯度检查点的性能高度依赖于架构。与普遍假设相反，Adam并非普遍优越，在某些情况下Adadelta和SGD的表现优于它。该研究为选择优化器和梯度策略以提高AI模型训练和部署的资源效率提供了实用指导。
-
新研究对内存高效的AI训练梯度优化器进行基准测试
一项新研究针对四种Transformer架构，对五种梯度优化器（SGD、Adam、Adagrad、Adadelta和共轭梯度下降）与三种节省内存的策略（标准训练、梯度检查点和梯度累积）进行了基准测试。研究发现，梯度累积是在不增加GPU内存使用量的情况下降低训练损失最有效的策略。研究还显示，Adam并非总是最优的优化器，在某些架构中，Adadelta和SGD的表现优于它，而梯度检查点的有效性高度依赖于具体的模型架构。
-
新算法HT-PAder解决了重尾噪声下的在线凸优化问题
研究人员开发了HT-PAder，这是一种新颖的参数无关算法，旨在解决非平稳环境中具有重尾噪声的在线凸优化挑战。这种新方法结合了带重启的AdaGrad专家和一种无需对元损失进行矩条件约束的路径元算法AdaGrad-Hedge。HT-PAder实现了接近最优的通用动态遗憾，即使在有限方差噪声的情况下也优于先前的方法，并且无需预先了解问题参数。
-
新的机器学习优化技术解决了非凸问题和偏微分方程求解器
研究人员开发了优化机器学习算法的新方法，特别是在非凸优化和科学计算的背景下。一篇论文介绍了一种黑盒在线到非凸转换技术，该技术利用静态遗憾最小化预言机，解决了开放性问题，并为 AdaGrad 和 Shampoo 等自适应优化方法提供了新视角。另一项研究提出了 PCGBandit，一种用于瞬态偏微分方程求解器的一步加速方法，该方法使用 bandit 算法直接从模拟数据中自适应地学习求解器配置，并在使用 OpenFOAM 的流体和磁流体动力…
-
AdaGrad 优化方案在复合目标上显示出收敛问题
一篇新发表在 arXiv 上的研究论文详细介绍了一个 AdaGrad 优化算法在应用于复合目标时存在的局限性。该论文展示了一种情况，由于其累积机制与复合最优性之间的不匹配，AdaGrad 无法达到预期的收敛速率。这是因为光滑项的梯度在最优值处可能不会减小，导致 AdaGrad 过度减小其步长并减慢收敛速度。
-
AdaGrad、RMSProp 和 Adam 的新连续时间模型
研究人员开发了一个连续时间框架来模拟 AdaGrad、RMSProp 和 Adam 等流行优化算法。通过将这些算法表示为积分微分方程，该研究为理解它们的行为提供了一个新的理论视角。数值模拟和收敛性分析证实，这些连续时间模型能够准确地近似原始的离散算法，从而为理解自适应优化方法提供了更深入的见解。
-
新的OptMuon方法通过自适应动量增强随机优化
研究人员推出了一种新颖的自适应动量正交化方法OptMuon，用于随机非凸优化，该方法通过观察到的轨迹校准更新幅度。该方法将Muon风格的方向与依赖于轨迹的系数计划相结合，避免了对平滑度常数或方差水平的依赖。OptMuon为噪声自适应性和零噪声最优性提供了理论保证，在无需手动调整超参数的情况下，可降低到接近最优的确定性速率。
-
研究发现Muon优化器在凸Lipschitz函数上失效
一篇新论文挑战了Muon优化算法的理论基础，证明它在凸Lipschitz函数上不收敛。研究表明，Muon的实际成功可能源于这种经典模型未能捕捉到的平滑特性。虽然误差反馈可以恢复理论收敛性，但它会降低在关键深度学习任务中的实际性能。
-
LLM 研究日记 #3：PyTorch 张量、浮点类型和训练基础设施
这篇 LLM 研究日记重点介绍了用于训练大型语言模型的 PyTorch 基础知识。它详细介绍了张量基础知识，探讨了 FP32、BF16 和 FP8 等各种浮点数据类型以提高效率和稳定性。该条目还涵盖了使用“einops”进行清晰的张量运算、计算成本（FLOPs）的计算方法以及使用自定义优化器和正确初始化进行模型构建的实际方面。
-
FG^2-GDN 通过自适应学习率增强长上下文理解
研究人员推出 FG$^2$-GDN，这是一种增强神经网络长上下文理解的新方法。该方法通过用通道向量替换标量学习率来改进现有的门控增量网络，从而实现更具维度特异性的适应。FG$^2$-GDN+ 的一个扩展通过解耦键和值的缩放，提供擦除和写入强度的独立管理，进一步优化了控制。实验表明，这些新变体在计算成本相似的情况下，实现了更好的联想回忆和长上下文理解。
-
新理论统一了非凸机器学习的自适应优化方法
研究人员开发了一个统一的框架来分析非凸机器学习中使用的一阶优化算法。该框架涵盖了AdaGrad、AdaNorm以及Shampoo和Muo的变体等流行方法。该分析为这些方法提供了随机收敛率，即使在有动量且不对梯度有界或步长较小的情况下也是如此。