PulseAugur
中
实时 11:40:16
实体 SGD

SGD

PulseAugur coverage of SGD — every cluster mentioning SGD across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
44
90 天内 188
发布 · 30天
0
90 天内 0
论文 · 30天
44
90 天内 179
层级分布 · 90 天
主题
关系
情绪 · 30 天

8 天有情绪数据

最近 · 第 1/10 页 · 共 196 条
  1. TOOL · CL_366293 ·

    新研究分解神经网络中的SGD动力学,解释泛化损失

    研究人员分析了两层神经网络中随机梯度下降(SGD)的动力学,这些网络在多指标教师模型上进行训练。他们将第一层权重分解为与教师对齐的信号分量和正交补分量,并观察到SGD动力学在正交补Gram矩阵中诱导了与教师相关的谱峰。这种涌现的各向异性会放大表示方差并降低泛化能力,他们称之为“分解动力学”。ReLU网络的模拟结果表明,冻结正交补方向可以提高泛化能力,这突显了一种机制,即学习教师子空间之外的特征会损害性能。

  2. TOOL · CL_366265 ·

    SGD 收敛率针对凸目标进行了优化

    研究人员已经确定,当随机梯度下降 (SGD) 应用于凸目标时,其最后一个迭代的近乎紧确的几乎处处收敛率。对于光滑目标,研究表明当存在平稳最小化器时收敛率为 $k^{-1/3}$ 阶,否则为 $k^{-1/4}$ 阶,并且可以使用确定性步长策略实现这些速率。这些发现进一步扩展到非光滑凸目标,并得到匹配的下界支持,证实了导出指数的最优性。

  3. RESEARCH · CL_360456 ·

    新研究推动随机梯度下降的收敛性和真实性

    研究人员发布了关于随机梯度下降(SGD)算法的新发现,重点是提高收敛速度并解决分布式学习中的挑战。一篇论文详细介绍了随机多梯度下降(SMG)的新收敛速度,该速度缩小了与确定性方法的差距,其证明策略部分由ChatGPT 5.4 Thinking Extended生成。另一项研究介绍了一种新颖的SGD分布式支付机制,该机制保证了代理的真实行为和准确收敛,而无需中央服务器。第三篇论文为SGD提供了偏差最优界限,分析了其在各种步长下的性能及其…

  4. TOOL · CL_360134 ·

    模型退火训练方法提高了数据效率和鲁棒性

    研究人员推出了一种名为模型退火的新型训练技术,旨在提高机器学习的数据效率。该方法将训练分为多个阶段,学习率会先增加然后降低,每个降低后的状态都会存储在过去的网络迭代记忆中。然后,网络会从自身的知识中重新学习,结合原始标签和该记忆中的预测,特别是在学生模型和记忆模型不一致的地方。与标准的交叉熵训练和快照蒸馏相比,该方法在各种架构和数据集上都显示出准确性、校准性和鲁棒性的提高。

  5. RESEARCH · CL_359582 ·

    新算法改进了对抗性 MDP 和上下文老虎机中的遗憾界限

    研究人员为对抗性马尔可夫决策过程 (MDP) 和上下文老虎机中的策略优化开发了新算法。对于对抗性 MDP,一种利用稳定性匹配奖励的新颖方法 VOPO,在遗憾界限上比先前方法提高了 $\sqrt{S/H}$ 和 $\sqrt{H^3}$ 的因子。在上下文老虎机领域,一种新的 Oracle-高效算法通过采用具有拉普拉斯噪声的策略分数扰动,实现了近乎最优的遗憾率,改进了先前依赖于时间范围的界限。

  6. TOOL · CL_356617 ·

    新的缩放定律揭示SignSGD的优势超越SGD

    研究人员开发了一种函数式缩放定律(FSL),以了解SignSGD(一种优化算法)与标准SGD相比的表现。FSL揭示,SignSGD的学习动态涉及信号学习和噪声遗忘,梯度噪声能够实现一种预处理形式,从而可能更快地学习信号。这种机制使SignSGD在具有挑战性的任务中实现更好的数据效率,并在更大的批量大小下保持效率,可能需要更少的优化步骤。

  7. TOOL · CL_352235 ·

    线性回归中尾部平均 SGD 的新风险界限

    本文介绍了一个新的理论框架,用于分析高维线性回归中带有尾部平均的随机梯度下降 (SGD) 的性能。作者们在超额风险上建立了匹配的上界和下界,通过考虑初始化对谱性质的影响来完善现有分析。他们证明了初始误差的影响在预热阶段呈指数衰减,并确定了满足其理论条件的特定步长范围。

  8. TOOL · CL_352224 ·

    新的Byzantine-Robust Muon优化器增强了分布式学习的弹性

    研究人员推出了一种名为Byzantine-Robust Muon的新型优化方法,专为分布式和联邦学习环境设计。该方法通过采用弹性动量正交化来增强对对抗性行为和数据异质性的鲁棒性。该研究为通用非凸和星凸目标建立了理论收敛保证,即使在不假设i.i.d.数据分布的情况下也是如此。在图像基准和语言模型上的实证评估表明,经过测试的Muon配置与标准的SGD、normalized-SGD和经过调优的AdamW基线相比,在受攻击的准确性方面表现更优。

  9. TOOL · CL_352030 ·

    RLVR 研究表明奖励破解可能被放大或抑制

    一篇新研究论文探讨了具有可验证奖励的强化学习 (RLVR) 如何与不完美的验证器交互,揭示奖励破解既可以被抑制也可以被放大。研究发现 RLVR 充当过滤器,在不改变其组成的情况下重新加权接受的响应,从而继承基础模型的奖励破解率。然而,通过参数共享,接受错误答案的提示会将其推得更高,而拒绝它们的提示会将其推得更低,从而导致放大。研究表明,对齐工作应侧重于模型在提示中重复出现的特定错误,因为这可以显著提高真实准确性。

  10. TOOL · CL_336052 ·

    新研究量化了随机舍入对SGD训练的影响

    一篇新的arXiv论文探讨了随机舍入对使用随机梯度下降(SGD)训练深度学习模型的影响。该研究为线性网络的预测误差提供了理论界限,分析了模型大小、训练时间和精度如何影响性能。它确定了实现所需精度的最佳计算扩展和比特要求,并通过在MLP和Transformer模型上的实验来说明这些权衡。

  11. TOOL · CL_332852 ·

    量化误差导致语言模型训练不稳定

    研究人员发现,大型语言模型预训练期间不稳定的一个重要原因是:损失尖峰。这些尖峰通常在训练后期出现,被称为“定时炸弹式尖峰”,与模型最终语言建模头中输出对数(logits)的增长和发散有关。研究发现,该头中的量化误差会引发这些尖峰,数值精度降低会加速尖峰的出现,而提高精度则能增强稳定性。提出的缓解方法包括将LM头中的AdamW替换为带动量的SGD,这可以抑制对数增长,并在延长训练期间提高稳定性。现有的缓解技术似乎也能减少量化误差,这表明…

  12. TOOL · CL_327259 ·

    新分析提高了联邦学习中 SCAFFOLD 的收敛速率

    研究人员开发了对联邦学习中 SCAFFOLD 算法的新分析,重点关注客户端数据相似性如何影响收敛速率。该研究确立了凸目标和非凸目标对 Hessian 相似性的线性依赖性,改进了先前需要更强假设或收敛速度较慢的分析。这项工作为随机梯度方法提供了更快的收敛保证和匹配的下界,从而在异构数据条件下更深入地理解 SCAFFOLD 的性能。

  13. TOOL · CL_327052 ·

    新的 FA-GC 方法通过自适应优化器增强联邦学习

    研究人员推出了一种名为联邦自适应梯度校正 (FA-GC) 的新方法,旨在改进 Adam 等自适应优化器的联邦学习。与仅在梯度被纳入优化器的运行平均值后进行校正的先前方法不同,FA-GC 在梯度进入这些平均值之前进行校正。这一区别至关重要,因为自适应优化器从历史梯度信息构建更新,而仅校正最终方向可能导致次优结果。所提出的方法在各种图像和语言任务上,尤其是在数据异质性强的情况下,已证明了改进的收敛性和准确性。

  14. TOOL · CL_324808 ·

    研究发现语言模型可在推理过程中学习

    一篇新的研究论文探讨了语言模型在推理过程中学习的概念,这一过程被称为动态评估。研究发现,当标准 softmax-attention 模型在文本块上执行梯度步骤时,其下一个 token 损失显著降低,并且在长上下文基准测试中优于冻结模型。然而,这种适应性主要提高了风格和词汇回忆能力,而非事实检索能力。对于掩码扩散模型,适应性更为明显,带来了实质性的提升。研究还表明,通过将模型自身的结论条件判断蒸馏到一个低秩适配器中,在 GSM8K 等任…

  15. TOOL · CL_324567 ·

    新的UTA方法优化AI模型的学习率衰减

    德克萨斯大学奥斯汀分校的研究人员开发了一种新的学习率衰减方法,称为通用训练自适应(UTA)LRD。该方法旨在通过自适应训练状态来改进模型训练,这与依赖固定轨迹或SGD动力学的先前方法不同。UTA将学习率衰减视为一个闭环问题,同时优化了进展形状和学习率尺度。该方法在LLaMA等语言模型以及在ImageNet上训练的ResNet50和Vision Transformer Base等视觉模型上,都显示出了一致的性能提升,并且开销极小。

  16. TOOL · CL_317557 ·

    新研究详细介绍了高维模型中多通道SGD的学习动力学

    一篇新发表在arXiv上的论文详细介绍了高维、非凸多指标模型中多通道随机梯度下降(SGD)的学习动力学。该研究开发了这些动力学的一个渐近精确表征,揭示了一个由泊松跳跃过程驱动的动力学平均场方程控制的连续时间尺度极限。该框架连接了各种现有的SGD理论,并表明与扩散近似或梯度流相比,多通道SGD可能收敛到具有不同统计特性的局部最优解。

  17. TOOL · CL_317437 ·

    新框架分析持续学习中的灾难性遗忘

    研究人员开发了一个新的算法稳定性框架来分析持续学习中的灾难性遗忘。该框架将遗忘分解为任务内和跨任务泛化差距以及经验遗忘。它为各种学习率调度和累积梯度对齐提供了理论界限,深入探讨了迭代优化如何影响先前学习任务的性能下降。在 Split CIFAR-100 和 Split MiniImageNet 上的实验验证了理论发现。

  18. TOOL · CL_312861 ·

    新策略方法将黑盒模拟器调用次数减少了 10 倍

    研究人员开发了一种优化黑盒模拟器的新方法,这些模拟器通常不可微分且计算成本高昂。该方法涉及学习一个策略来指导可微分代理模型的训练。然后,利用该代理模型的梯度通过 SGD 优化模拟参数。该技术分摊了下游优化的成本,与现有的贝叶斯优化和数值优化等方法相比,所需的模拟器调用次数减少了 10 倍。

  19. TOOL · CL_312843 ·

    新理论加强了重尾噪声下梯度裁剪的保证

    研究人员为优化算法中的梯度裁剪开发了新的理论保证,特别是在仿射重尾噪声下的光滑凸优化。该研究关注裁剪的SGD(Clip-SGD)及其加速变体Clip-SSTM,在弱-$L^\alpha$ 尾部条件下推导了高概率收敛保证。此条件比之前的矩界限限制更少,允许分析具有临界指数$u^{-\alpha}$阶尾部的分布。研究结果表明,这些方法可以达到$K^{-(\alpha-1)/\alpha}$ 的加性随机率,以及来自梯度相关噪声的额外快速衰减…

  20. TOOL · CL_312792 ·

    新理论证明了深度线性网络中SGD的收敛性

    研究人员在深度线性神经网络的背景下,为随机梯度下降(SGD)建立了新的理论收敛保证。这项工作将现有的梯度下降结果扩展到正则化平方损失下的SGD,证明了SGD迭代的几乎必然有界性。该分析利用随机逼近理论中的渐近伪轨迹框架,在温和的条件下显示了收敛到临界点,而无需Lipschitz性质或白化数据。这代表了弥合深度学习模型理论优化与实际随机训练之间差距的重要一步。