Adam
PulseAugur coverage of Adam — every cluster mentioning Adam across labs, papers, and developer communities, ranked by signal.
- instance of alphaXiv 90%
- instance of SGD 90%
- used by stochastic gradient descent 90%
- instance of Nadam 90%
- instance of AdaGrad 90%
- developed AdaGrad 90%
- developed SOAP 90%
- competes with AdamW 80%
- used by transformers 80%
- competes with gradient descent 80%
- competes with muon 70%
- used by Gotit.pub 70%
17 天有情绪数据
-
PyTorch FSDP 与 DeepSpeed 在 LLM 训练内存优化方面的比较
本文比较了 PyTorch 的 FSDP 和 DeepSpeed 在大型语言模型(LLM)训练中的应用,重点关注内存优化技术。虽然 PyTorch FSDP 被推荐为默认选项,但当模型超出 GPU 内存容量时,DeepSpeed 的 ZeRO 阶段,特别是将优化器卸载到 CPU 或 NVMe,变得至关重要。作者提供了 80 亿和 700 亿参数模型的详细内存计算,表明只有 DeepSpeed 的优化器卸载才能让 700 亿参数模型在 …
-
新的PINN优化器利用PDE状态提升性能
研究人员开发了一种新颖的方法来优化物理信息神经网络(PINNs),通过将学习到的优化器与底层偏微分方程(PDE)的信息进行条件化。该方法引入了一个PDE状态捕获算子结构和一个短视界更新响应,用于调节元学习的优化器。结果表明,经过PDE状态条件化的优化器在相对L2、L1、解MSE和物理MSE等各种指标上均有所改进,在Linear Advection、KdV和Burgers等基准PDE上优于Adam和未条件化的学习优化器等标准优化器。
-
受生物启发的脉冲神经网络方法可提高效率和准确性
研究人员开发了新颖的受生物启发的脉冲编码方法和优化技术,以提高脉冲神经网络(SNN)的能效和准确性。通过将这些方法与自适应阈值代理梯度和二阶优化相结合,该研究在容量受限的情况下展示了显著的收益。在MNIST和Fashion-MNIST数据集上的实验表明,基于生物学原理的预处理可以在不增加模型尺寸的情况下,缩小SNN与传统深度网络之间的准确性差距。
-
新理论揭示神经网络中的尖锐特征学习转变
研究人员开发了一个新的理论框架,以理解具有广泛宽度的神经网络的学习极限。他们的工作揭示了这些网络中的特征可学习性受尖锐相变控制,特征被顺序恢复。这种顺序获取定义了一个“有效宽度”,它统一了不同的缩放机制,从而产生了精确的贝叶斯最优泛化误差定律。该研究还通过实验证明,在接近此有效宽度时使用 Adam 优化器进行训练可以实现这些最优缩放定律。
-
新框架CurvDelta和CurvLoRA改进了LLM的适应性和能力保持性
研究人员引入了CurvDelta和CurvLoRA,这两种新颖的框架旨在改进大型语言模型(LLM)的适应性。这些方法将LLM更新限制在低曲率空间内,从而在有效适应新任务的同时增强通用能力的保持性。CurvDelta在实际应用中采用了Kronecker-factored approximate curvature (K-FAC)方法,而CurvLoRA提供了一种更高效的低秩变体。在推理、代码生成和知识遗忘任务上的评估表明,与现有方法相比…
-
Meta 的 Muse AI 代理获得语音交互功能
Meta 为其 Muse AI 代理推出了一项新功能,允许它们使用语音进行交流。用户可以选择一个声音,然后通过语音提问,并获得语音回复。这一发展凸显了语音作为 AI 应用程序界面的日益增长的重要性,人们预计用户将期待应用程序中的对话式交互。
-
新研究将 Adam 优化器的偏差与学习率调度联系起来
一篇新研究论文探讨了 Adam 优化器在二元分类任务中的隐式偏差,特别是其与学习率调度的关系。研究表明,在某些条件下,Adam 并不会像之前使用强衰减学习率的发现那样表现出轨迹无关的边际最大化偏差。相反,它对齐次模型表现出轨迹依赖的加权 L2 边际最大化,其极限参数方向受初始化影响。
-
用NumPy从头构建GPT:发布34章教程
一项新的34章免费教程,指导读者仅使用NumPy从头开始构建一个生成式预训练Transformer(GPT)。教程从基础神经网络概念开始,逐步深入到注意力机制、预训练和各种采样策略等高级LLM主题。该教程专为希望深入了解LLM内部机制的自学者和工程师设计,整本书可以在笔记本电脑的CPU上进行训练,无需GPU。
-
新的FOAM优化器以更低的成本实现了SOAP/Muon大语言模型训练性能的匹配
研究人员开发了Factored One-sided Adam-Moment (FOAM),这是一种新的优化器,旨在使SOAP等二阶优化方法在大型语言模型 (LLM) 预训练中更具实用性。FOAM通过减少内存使用和计算开销来实现这一点,具体方法是丢弃输出侧的Kronecker因子并使用因子化的Adam-moment估计器。这种方法使FOAM能够匹配更强的SOAP和Muon基线的性能,同时使用的优化器状态显著减少,运行速度相当。
-
RLVR 研究表明奖励破解可能被放大或抑制
一篇新研究论文探讨了具有可验证奖励的强化学习 (RLVR) 如何与不完美的验证器交互,揭示奖励破解既可以被抑制也可以被放大。研究发现 RLVR 充当过滤器,在不改变其组成的情况下重新加权接受的响应,从而继承基础模型的奖励破解率。然而,通过参数共享,接受错误答案的提示会将其推得更高,而拒绝它们的提示会将其推得更低,从而导致放大。研究表明,对齐工作应侧重于模型在提示中重复出现的特定错误,因为这可以显著提高真实准确性。
-
新的VR-Adam-SHANG方法提高了优化中的梯度精度
研究人员开发了新的方法,即VR-Adam-SHANG的标量和对角线版本,以提高光滑随机凸优化的梯度精度。这些方法结合了STORM类型的递归估计、Adam风格的预条件处理以及SHANG的加速插值和校正,每次迭代只需最少的梯度评估。理论分析显示了多项式步收敛和改进的期望目标差距界限。实验结果表明,在匹配的样本梯度预算下,这些新方法与现有方法相比取得了更优越的性能。
-
GraphMuon 优化器加速图神经网络训练
研究人员开发了 GraphMuon,这是一种旨在提高图神经网络(GNN)训练效率的新型优化器。与使用逐坐标更新的标准优化器(如 AdamW)不同,GraphMuon 采用矩阵感知优化技术,以考虑受图传播特征影响的 GNN 权重矩阵的特定几何形状。这种方法在大型 OGB 基准测试中显著加快了达到目标验证损失的速度,在各种 GNN 任务中,与 AdamW 相比,速度提升高达 2.42 倍。
-
Meta FAIR 的 e-means 算法提供 10 倍于 k-means 的聚类速度,且损失更低 · 跟踪 8 个来源
Meta FAIR 推出了 e-means,一种新颖的 k-means 聚类优化过程,其性能显著优于传统的 Lloyd 算法。E-means 利用带有 mini-batch 更新的指数移动平均,在极少量的 epoch 内(1.4-2.6 vs. 25)实现可比或更低的损失,并提供显著的速度提升,在 GPU 上最高可达 10-45 倍。该算法还通过缩放定律自动调整超参数,无需手动调整,使其成为现有 k-means 实现的强大替代品。
-
伊斯兰文本强调知识在社会和信仰中的作用
本文探讨了知识和科学在构建社会中的深远重要性,大量借鉴了伊斯兰神学和哲学观点。文章认为,有知识的人优于没有知识的人,并强调知识是指导信仰和行动的神圣礼物。文中指出,寻求知识是一种崇拜行为,也是一种拉近与神距离的方式,最终能在今生和来世获得更高的地位。
-
新的双层优化方法实现了最优收敛率
研究人员开发了一种新的双层优化方法,这是一种对计算成像中的超参数调整至关重要的技术。所提出的方法,策略性不精确随机梯度下降(Strategically Inexact Stochastic Gradient Descent),通过分析实际的、不精确的计算调度来解决超梯度不可用的挑战。该研究证明了不精确随机双层优化的收敛率,在特定配置下,期望值达到了最优的 O(k^{-1/4}) 率。在图像去噪和修复任务上的实验证实了该方法的稳定性和准…
-
联邦学习模型可以从静态上下文中学习用于时间序列预测
一篇新的研究论文探讨了联邦学习模型如何有效地利用静态上下文信息进行时间序列预测。研究发现,像FedAdam这样的每批次聚合方法在从该静态输入中提取价值方面优于FedAvg和FedAdam+Prox等通信效率方案。该研究在包括风力发电和建筑能耗数据在内的数据集上进行,表明静态上下文学习的有效性并不局限于Temporal Fusion Transformer等特定架构。
-
新的IFT方法用于节气门控制面临偏差挑战
研究人员开发了一种名为迭代反馈调整(IFT)的新方法来优化无模型控制参数,特别是用于汽车电子节气门。该技术利用随机梯度下降,根据闭环实验的误差测量来调整控制器参数。然而,研究发现,实际阀门中的摩擦和粘滞会给梯度估计引入偏差,导致次优性能和更新规则漂移。不同的优化算法,如Adam和Gauss-Newton,根据梯度的噪声结构表现出不同的有效性,其中Adam在具有噪声梯度的阀门上表现优于Gauss-Newton,但在具有一致梯度的阀门上出现漂移。
-
GraphMuon 优化器加速图神经网络训练
研究人员推出了一种新颖的优化器 GraphMuon,旨在增强图神经网络 (GNN) 的训练。GraphMuon 采用现有的面向矩阵的优化技术,并考虑了图传播表示的特定协方差结构。此举旨在缓解 GNN 中固有的更新放大问题,从而实现更快的收敛。实证结果表明,与 AdamW 相比,GraphMuon 在大规模 OGB 基准测试中实现了显著的达到目标时间的加速,同时在各种 GNN 任务中保持了具有竞争力的预测性能。
-
量子计算原理应用于新研究中的异常检测
两篇新研究论文探讨了量子计算原理在异常检测中的应用。第一篇论文《用于异常检测的量子启发式张量网络自编码器》提出了一种基于MERA的自编码器用于对撞机射流中的异常检测,与密集自编码器相比,在性能和参数效率方面有所提高。第二篇论文《边缘端的预测性维护:一种使用量子优化训练的嵌入式异常检测流水线》详细介绍了一种用于检测轴承异常的流水线,该流水线使用量子优化进行特征选择和OCSVM训练,专为在微控制器上进行边缘部署而设计。
-
新的FARO优化器通过重新分配风险预算来改进LLM训练
研究人员推出了一种新颖的优化框架FARO,旨在改进大型语言模型的训练。FARO将参数块视为基本单元,根据其反事实回报动态分配几何形状,从而调整优化过程。这种方法使用类似于投资组合理论的风险平价原则来重新分配更新预算。在GPT风格模型在FineWeb数据集上的实验中,FARO的自适应臂与现有手工设计方法的性能相当,而其ERC变体在多个种子上的损失减少方面取得了适度但持续的改进。