Robin Yadav

新型 SignGD 模型解决语言建模中的类别不平衡问题

一篇新的 arXiv 论文介绍了一种名为 SignGD 的最小模型，旨在解决机器学习中的类别不平衡问题，尤其是在语言建模领域。由 Robin Yadav 领导的研究表明，SignGD 通过消除稀有 token 更新的幅度依赖性，其表现优于标准的随机梯度下降 (SGD)。这种机制使得 SignGD 能够更有效地学习稀有 token，与 GD 和 SGD 相比，在重尾数据分布下具有可证明的收敛速率优势。