深度线性Transformer展现出多种动力学行为

研究人员通过将token建模为相互作用的粒子，分析了深度线性仅编码器Transformer的推理时行为。这种视角揭示，在嵌入维度为二时，Transformer的动力学可以重新表述为广义的Kuramoto型模型。这种使用Watanabe--Strogatz理论的表述表明，动力学本质上是低维的，并且可能导致多种长期行为，如聚类、振荡和分岔，特别是对于与Ott--Antonsen (OA)流形相关的token初始化。研究还表明，这些行为在更高维度的Transformer中也持续存在。 AI

影响 为Transformer模型的内部动力学提供了理论见解，可能为未来的架构改进提供信息。

排序理由 该集群包含一篇详细介绍Transformer模型动力学理论研究的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• alphaXiv
• arXiv
• CatalyzeX Code Finder for Papers
• CORE Recommender
• DagsHub
• Gotit.pub
• Hugging Face
• IArxiv Recommender
• Ott--Antonsen (OA) manifold
• ScienceCast
• Watanabe--Strogatz theory

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →