symplectic Stiefel manifold

新的 Adam 优化器泛化到流形以进行 Transformer 训练

研究人员开发了一种新颖的方法，将 Adam 优化器泛化到各种数学流形，这对于优化神经网络至关重要。这篇 arXiv 论文详细介绍了这种新方法，它利用齐性空间的结构来创建全局切空间表示，从而无需投影即可扩展 Adam 的步长。这种泛化优化器已成功应用于训练 Transformer 和辛自动编码器，通过高精度地强制执行正交性约束，展示了优于现有方法的性能。