Momentum Streams

新的 Transformer 模型利用优化算法提高性能

研究人员开发了一系列受优化算法启发的 Transformer 模型，旨在提高训练效率和性能。这些模型，包括一种名为 TMMFormer 的“三动量”变体，将 Transformer 层解释为优化过程中的步骤。在预训练实验中，TMMFormer 达到了最低的验证损失，优于标准 Transformer，并证明了动量而非预处理是收益的关键驱动因素。TMMFormer 还表现出更平坦的最小值，从而提高了泛化能力并减少了遗忘。