实体
signGD
signGD
PulseAugur coverage of signGD — every cluster mentioning signGD across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新型 SignGD 模型解决语言建模中的类别不平衡问题
一篇新的 arXiv 论文介绍了一种名为 SignGD 的最小模型，旨在解决机器学习中的类别不平衡问题，尤其是在语言建模领域。由 Robin Yadav 领导的研究表明，SignGD 通过消除稀有 token 更新的幅度依赖性，其表现优于标准的随机梯度下降 (SGD)。这种机制使得 SignGD 能够更有效地学习稀有 token，与 GD 和 SGD 相比，在重尾数据分布下具有可证明的收敛速率优势。
-
新理论解释神经网络优化器动力学中的重尾谱出现
研究人员开发了一种新方法来理解神经网络权重矩阵中重尾谱密度的出现方式，这是隐式自正则化的指标。他们将这种出现表述为一个命中时间问题，考虑了在观察期内未达到重尾诊断的运行。他们的发现提出了一个维度修正的谱隙定律，该定律得到了包括 Qwen2.5-0.5B 和 Pythia-70M 在内的各种模型以及理论分析的经验数据的支持。