English(EN) Same Function, Different Trajectory: No Standard Optimizer Is Equivariant to Transformer Reparameterization

新研究表明，尽管函数相同，Transformer的训练轨迹却会发散

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-13 10:08

一篇新研究论文探讨了由于优化器行为，相同的Transformer模型可能表现出不同训练轨迹的现象。研究表明，即使模型函数保持不变，标准的AdamW等优化器也未能充分考虑由参数变换引起的尺度不平衡。为解决此问题，研究人员提出了平衡矩阵对并共同变换其矩估计的方法，确保等效的检查点能带来一致的训练路径。他们还引入了对称感知梯度几何稳定（SAGGS）及其变体Soft SAGGS，它们使对称对的Frobenius范数相等以缓解尺度不平衡，并在WikiText-103上显示出显著的困惑度降低。 AI

影响识别出Transformer训练稳定性的一个基本问题，可能导致更强大和可复现的模型开发。

排序理由学术论文，详细介绍了模型训练动力学的新研究发现。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.NE (Neural & Evolutionary) 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 2 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 学术论文，详细介绍了模型训练动力学的新研究发现。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Same-day; Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.NE (Neural & Evolutionary) TIER_1 English(EN) · Bum Jun Kim · 2026-10-13 10:08

功能相同，轨迹不同：没有标准优化器能等变Transformer的重参数化

We show that two Transformers representing the same function can follow different training trajectories. For example, doubling a query matrix and halving its key matrix preserves the model's function but changes the gradient scales seen by the optimizer. Our theoretical analysis …

本文如何被排名

报道来源 [1]

功能相同，轨迹不同：没有标准优化器能等变Transformer的重参数化

相关实体

相关话题