Eitan Gronich

Adam 和 Muon 优化器在神经网络中表现出隐式偏差

研究人员分析了动量优化器（如 Adam 和 Muon）应用于光滑齐次神经网络时的隐式偏差。他们的发现表明，在特定的学习率调度下，动量最速下降算法（包括 Muon、MomentumGD 和 Signum）可以近似作为最速下降轨迹。这种偏差导致这些算法倾向于相应的边际最大化问题的 KKT 点，其中 Adam 特别最大化了 L-infinity 边际。