PulseAugur
中
实时 15:24:43
实体 foam

foam

PulseAugur coverage of foam — every cluster mentioning foam across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
2
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天

2 天有情绪数据

最近 · 第 1/1 页 · 共 3 条
  1. RESEARCH · CL_355778 ·

    新的FOAM优化器以更低的成本实现了SOAP/Muon大语言模型训练性能的匹配

    研究人员开发了Factored One-sided Adam-Moment (FOAM),这是一种新的优化器,旨在使SOAP等二阶优化方法在大型语言模型 (LLM) 预训练中更具实用性。FOAM通过减少内存使用和计算开销来实现这一点,具体方法是丢弃输出侧的Kronecker因子并使用因子化的Adam-moment估计器。这种方法使FOAM能够匹配更强的SOAP和Muon基线的性能,同时使用的优化器状态显著减少,运行速度相当。

  2. COMMENTARY · CL_335331 ·

    神经网络优化器名称给机器学习研究人员的搜索带来麻烦

    Reddit 的 r/MachineLearning 子版块上的一场讨论突显了神经网络优化器的命名惯例。用户们对这些优化器通常不寻常且不唯一的名称表示沮丧,例如 SOAP、Shampoo、FOAM 和 Muon。这种命名趋势导致搜索相关信息困难,因为常用词或物理粒子名称经常被使用,导致搜索结果不相关。

  3. RESEARCH · CL_65622 ·

    新的FOAM算法提高了Shampoo的优化效率

    研究人员推出了一种新的自适应算法FOAM,旨在提高Shampoo优化方法的效率。Shampoo在大规模基准测试中表现强劲,但由于矩阵求逆导致计算成本高昂。FOAM通过理论分析在使用过时的预条件更新时计算效率和优化保真度之间的权衡来解决这个问题。该算法动态调整阻尼因子和特征分解频率,以稳定训练并减少陈旧性误差。