实体 LMO-IGT

LMO-IGT

PulseAugur coverage of LMO-IGT — every cluster mentioning LMO-IGT across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_21923 · May 8 · 04:00

新的 LMO-IGT 方法通过隐式梯度传输加速优化

研究人员推出了一种新型随机优化方法 LMO-IGT，旨在加速机器学习的收敛。该方法利用隐式梯度传输 (IGT) 来实现更快的收敛速度，而无需增加每次迭代计算梯度的成本。新框架还引入了一个统一的平稳性度量，称为正则化支撑函数 (RSF)，它连接了现有的梯度范数和 Frank-Wolfe 间隙的概念。实验证明，LMO-IGT 在标准随机 LMO 方法上表现出改进的性能，其中一个特定的实例 Muon-IGT 显示出特别强大的结果。