研究人员将Transformer中的数据传播建模为一个非线性控制系统。他们证明了高斯分布在此过程中始终保持高斯性，将动力学简化为一个控制均值和协方差的有限维系统。该框架允许将Transformer的表达能力分析为一个可达性问题，并揭示了与经典控制理论的联系。 AI
影响 为理解Transformer的行为和表达能力提供了理论框架。
排序理由 该集群包含一篇详细介绍Transformer动力学理论发现的学术论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
arXiv:2606.07600v1 Announce Type: cross Abstract: We formulate data propagation through the Transformer, the machine learning architecture powering large language models, as a nonlinear control system on the space of probability measures. For the mean-field Transformer model with…