English(EN) Stochastic Scaling Limits and Synchronization by Noise in Deep Transformer Models

深度Transformer模型在新研究中显示出噪声同步

作者 PulseAugur 编辑部 · [2 个来源] · 2026-04-29 17:09

研究人员发表了一篇论文，详细介绍了深度Transformer模型的数学行为。该研究证明了这些模型中token的层级演化收敛于一个连续时间随机粒子相互作用系统。它还确定了控制token分布的特定随机偏微分方程，并证明了在某些条件下存在噪声同步。 AI

影响提供了对Transformer模型动力学的更深入的数学理解，可能为未来的架构改进提供信息。

排序理由在arXiv上发表的学术论文，详细介绍了Transformer模型的数学特性。

AI 生成摘要 · Google Gemini · 来自 2 个来源。我们如何撰写摘要 →

报道来源 [2]

arXiv stat.ML TIER_1 English(EN) · Andrea Agazzi, Giuseppe Bruno, Eloy Mosig Garc\'ia, Samuele Saviozzi, Marco Romito · 2026-04-30 04:00

深度Transformer模型中的随机缩放极限与噪声同步

arXiv:2604.26898v1 Announce Type: cross Abstract: We prove pathwise convergence of the layerwise evolution of tokens in a finite-depth, finite-width transformer model with MultiLayer Perceptron (MLP) blocks to a continuous-time stochastic interacting particle system. We also iden…
arXiv stat.ML TIER_1 English(EN) · Marco Romito · 2026-04-29 17:09

深度Transformer模型中的随机缩放极限与噪声同步

We prove pathwise convergence of the layerwise evolution of tokens in a finite-depth, finite-width transformer model with MultiLayer Perceptron (MLP) blocks to a continuous-time stochastic interacting particle system. We also identify the stochastic partial differential equation …