SignMuon

新的 SignMuon 方法将 AI 模型更新压缩至每参数一比特

研究人员开发了 SignMuon，一种将模型更新压缩至每参数一比特的方法，显著降低了通信开销。虽然 SignMuon 在实践中优于 SignSGD，但它在某些函数上仍可能发散。通过误差反馈修复此问题的尝试结果好坏参半，应用于梯度的误差反馈在实现非凸问题的标准收敛率方面被证明是有效的。实验结果表明，在线性最小化预言机（LMO）之后对梯度进行符号化的启发式方法，比理论上保证收敛的方法在规模上更有效。