AdamW
PulseAugur coverage of AdamW — every cluster mentioning AdamW across labs, papers, and developer communities, ranked by signal.
- instance of Gotit.pub 90%
- instance of Influence Flower 90%
- competes with Lion 80%
- instance of DagsHub 70%
- used by DagsHub 70%
- developed by ScienceCast 70%
- used by alphaXiv 70%
- instance of alphaXiv 70%
- used by Gotit.pub 70%
- competes with ResNet-50 70%
- instance of CatalyzeX 70%
- competes with Newton-Schulz 70%
17 天有情绪数据
-
新论文详述 Qwen2.5-7B Base 上的受保护状态演化动力学
本文介绍了一个分析顺序决策过程中受保护状态演化动力学的新颖框架。它详细说明了相同的受保护观测如何产生不同的未来干预,其转换由后继状态、响应增量和储备金要求定义。研究还探讨了区分具有相似净消耗但初始储备金需求不同的协议的方法,并引入了加权 Gram 算子来确定线性响应椭球并识别合作方向。该研究在 Qwen2.5-7B Base 模型上展示了这些概念,表明在 KL 约束下,投影策略保留了 2,048 个参考顶部 token,恢复了很大一部…
-
Chorus方法将N-gram嵌入内存使用量削减87%
研究人员推出了一种新颖的语言模型N-gram嵌入方法Chorus,该方法在保持或提高性能的同时显著降低了内存使用量。与之前为每层使用单独的N-gram嵌入表的方法不同,Chorus采用单一共享的表集,各层通过自己的投影和重缩放机制对其进行自适应。这种共享方法实现了跨层的知识重用,并产生了显著更小的表,其参数量仅为FactorEngram和DeepSeek's Engram等现有方法的一小部分,但性能更优。此外,Chorus与Ember…
-
模型退火训练方法提高了数据效率和鲁棒性
研究人员推出了一种名为模型退火的新型训练技术,旨在提高机器学习的数据效率。该方法将训练分为多个阶段,学习率会先增加然后降低,每个降低后的状态都会存储在过去的网络迭代记忆中。然后,网络会从自身的知识中重新学习,结合原始标签和该记忆中的预测,特别是在学生模型和记忆模型不一致的地方。与标准的交叉熵训练和快照蒸馏相比,该方法在各种架构和数据集上都显示出准确性、校准性和鲁棒性的提高。
-
新的自然PC方法在神经网络训练中实现了最先进的效率
研究人员开发了一种名为自然PC的新方法,该方法增强了用于训练神经网络的预测编码(PC)。该方法使用横向电路实现高效的自然梯度学习,通过学习代表Fisher信息矩阵的活动相关性来绕过昂贵的矩阵求逆。自然PC在图像重建任务的样本和计算效率方面展示了最先进的性能,特别是在使用显著更低的计算成本和训练样本的情况下,在ImageNet上达到了与AdamW的随机梯度下降相媲美的效果。
-
新的FOAM优化器以更低的成本实现了SOAP/Muon大语言模型训练性能的匹配
研究人员开发了Factored One-sided Adam-Moment (FOAM),这是一种新的优化器,旨在使SOAP等二阶优化方法在大型语言模型 (LLM) 预训练中更具实用性。FOAM通过减少内存使用和计算开销来实现这一点,具体方法是丢弃输出侧的Kronecker因子并使用因子化的Adam-moment估计器。这种方法使FOAM能够匹配更强的SOAP和Muon基线的性能,同时使用的优化器状态显著减少,运行速度相当。
-
新的Byzantine-Robust Muon优化器增强了分布式学习的弹性
研究人员推出了一种名为Byzantine-Robust Muon的新型优化方法,专为分布式和联邦学习环境设计。该方法通过采用弹性动量正交化来增强对对抗性行为和数据异质性的鲁棒性。该研究为通用非凸和星凸目标建立了理论收敛保证,即使在不假设i.i.d.数据分布的情况下也是如此。在图像基准和语言模型上的实证评估表明,经过测试的Muon配置与标准的SGD、normalized-SGD和经过调优的AdamW基线相比,在受攻击的准确性方面表现更优。
-
Muon 优化器使混合专家语言模型中的平衡复杂化
一篇新的研究论文探讨了混合专家(MoE)语言模型中的平衡挑战,特别是当使用 Muon 优化器而不是更常见的 AdamW 时。研究发现,当 Muon 应用于整个网络时,与 AdamW 相比,它显著增加了第一个 MoE 层的负载不平衡。观察到这种不平衡被 Muon 的学习率加剧,可以通过调整学习率或专门为路由器使用 AdamW 来缓解,尽管在此规模下,将路由器保留在 Muon 上被发现稍微更有效。
-
TheJagStudio 发布 Tessera-small 用于生成 16x16 像素艺术
Jagrat Patel 以 TheJagStudio 的名义发布了 Tessera-small,这是一个用于生成 16x16 像素艺术的扩散语言模型。该模型将每个像素视为一个 token,并使用双向 Transformer 进行像素的并行去掩码,以冻结的 CLIP 文本编码器为条件。它在 Pixel Art Atlas 1.4M 数据集上使用一台 NVIDIA RTX Pro 6000 Blackwell 工作站进行了约 5.5 小…
-
新蒸馏方法按域优化多教师AI模型
研究人员开发了一种名为域路由增量优化(DRD-MOPD)的新方法,以改进多教师在策略蒸馏。该方法涉及为不同域训练单独的“增量”模型,同时保持基础模型冻结。该系统允许为每个域的增量模型进行独立的优化器状态和裁剪。训练后,可以在不进行进一步重新训练的情况下,为特定域选择最佳增量模型并将其与基础模型一起导出,从而在各种基准测试中提高性能。
-
新的 PyTorch 优化器 ApexW 在低端 GPU 上显示 6.3% 的加速效果
一名学生开发者创建了一个名为 ApexW 的新 PyTorch 优化器,旨在减少 CUDA 内核启动开销以加快训练速度,尤其是在较低端的 GPU 上。使用 NVIDIA T4 上的 Stable Diffusion 1.5 LoRA 训练进行的初步基准测试显示,与标准的 AdamW 优化器相比,速度提高了 6.3%。开发者正在寻求拥有更强大硬件的用户提供反馈和独立基准测试,以评估 ApexW 在包括完整微调和 LLM 训练在内的更广泛…
-
Nous Research 微调 Qwen3.8-27B,将宣传内容减少 98%
Nous Research 发布了 Arete-27B,这是一个从阿里巴巴的 Qwen3.8-27B 微调而来的开源权重模型。该新模型显著减少了响应中的宣传内容,在其内部评估中从 22% 降至 0.9%。在保持 Hermes Bench 等基准测试相似性能的同时,Arete-27B 旨在提供 Qwen 级别的能力,但没有国家意识形态的框架。
-
GraphMuon 优化器加速图神经网络训练
研究人员开发了 GraphMuon,这是一种旨在提高图神经网络(GNN)训练效率的新型优化器。与使用逐坐标更新的标准优化器(如 AdamW)不同,GraphMuon 采用矩阵感知优化技术,以考虑受图传播特征影响的 GNN 权重矩阵的特定几何形状。这种方法在大型 OGB 基准测试中显著加快了达到目标验证损失的速度,在各种 GNN 任务中,与 AdamW 相比,速度提升高达 2.42 倍。
-
成本分析显示,微调70B模型的费用为每百万token 1-2美元
微调一个拥有700亿参数的模型,每百万训练token的成本在1到2美元之间,而一个2000万token的LoRA运行估计约为20美元。成本主要取决于训练的token数量和实验运行次数,GPU利用率和每小时费率也起着重要作用。LoRA、QLoRA和梯度检查点等因素会影响每个token的计算操作,从而影响总费用。虽然完全微调涉及更多的计算和内存,但与LoRA相比,成本差异不如GPU速度和每小时定价的影响显著,像Nvidia B200这样的…
-
在 Qwen3-4B 模型上测量的 Rank-8 LoRA 效率
一篇技术文章详细介绍了 AI 模型如何学习,重点关注反向传播算法和 AdamW 优化器。文章特别测量了 Rank-8 LoRA(低秩适配)在 Qwen3-4B 模型上的性能。作者强调了完全微调所需的巨大 VRAM 要求,可能超过 68 GB,并将其与 Rank-8 LoRA 的低得多内存占用进行对比,后者可以高效地训练适配器权重。
-
GraphMuon 优化器加速图神经网络训练
研究人员推出了一种新颖的优化器 GraphMuon,旨在增强图神经网络 (GNN) 的训练。GraphMuon 采用现有的面向矩阵的优化技术,并考虑了图传播表示的特定协方差结构。此举旨在缓解 GNN 中固有的更新放大问题,从而实现更快的收敛。实证结果表明,与 AdamW 相比,GraphMuon 在大规模 OGB 基准测试中实现了显著的达到目标时间的加速,同时在各种 GNN 任务中保持了具有竞争力的预测性能。
-
LoRA 微调详解:训练内容、内存使用和数据集影响
本文深入探讨了 LoRA 微调的具体细节,解释了虽然它只训练模型参数的一小部分,但实际过程更为复杂。文章详细介绍了 LoRA 如何通过向特定层添加适配器矩阵来工作,主要是在 transformer 块的 MLP 投影中。分析强调,大部分内存使用来自冻结的基础模型权重,而可训练的适配器则显著更小。此外,文章还阐明,小型数据集会导致优化器更新次数有限,足以进行风格更改,而不是传授新知识。
-
新的DRAP方法增强了物理AI中的持续学习能力
研究人员推出了一种名为DRAP(Dynamics-Risk Adaptive Plasticity,动态风险自适应可塑性)的新方法,旨在改进物理AI系统的持续学习能力。该方法通过根据轨迹放大风险自适应地降低关键模型组件的可塑性,来解决物理代理中策略错误随时间累积的挑战。DRAP旨在在不阻碍新任务学习的情况下增强先前学习行为的保留能力,并采用一种通过轨迹放大风险对梯度加权的回放策略。
-
新的NANO技术提高了混合人工智能模型中的等终性
研究人员开发了一种名为非干扰不对称网络优化(NANO)的新优化技术,以解决混合模型中等终性的挑战。该方法允许神经网络在拟合仅约束聚合输出的观测数据时,更好地探索内部参数配置的可能范围。NANO专门针对AdamW优化器的问题,通过确保辅助训练目标不干扰主要损失函数,同时仍将排斥力集中在利用不足的坐标上。
-
近零嵌入导致门控模型训练停滞;提出新修复方案
一篇新论文发现,门控序列模型(特别是具有非绑定嵌入的模型)存在关键的训练不稳定性。这个问题由近零输入嵌入引起,可能导致极端梯度放大,超出 FP32 限制,并导致训练停滞或梯度归零。研究人员提出了两种解决方案:针对已发布的检查点使用 GroupClip,以分离嵌入裁剪;以及在预训练中使用 GateFloor,以保持正门值。这两种方法都显著提高了稳定性和更新保留率。
-
Muon 优化器研究揭示了复杂的预训练动态和微调权衡
近期研究探讨了 Muon 优化器在大语言模型预训练中的性能,揭示了与经典梯度下降理论不同的细微行为。一项研究表明,Muon 在大步长下的动态行为偏离了稳定性边缘(EoS)的图景,损失中性和时间对齐独立响应学习率和批量大小。另一篇论文研究了 Muon 和 AdamW 之间的微调差距,发现经过广泛预训练后,尤其随着模型尺寸的增加,AdamW 的性能可能优于 Muon。第三项分析表明,虽然 Muon-SW 提供了随模型尺寸增长的微小实际优势…