研究人员发表了一篇论文，详细介绍了任意维度噪声Transformer模型中的相变。该研究侧重于McKean-Vlasov自由能，并建立了全局最小化二分法。这项工作利用先进的数学不等式和计算，将先前二维的研究结果扩展到更高维度。 AI
影响 为Transformer模型的行为提供了理论见解，可能为未来的架构设计提供信息。
排序理由 该集群包含一篇详细介绍Transformer模型理论研究的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.05140v1 Announce Type: cross Abstract: We study the McKean--Vlasov free energy on the unit sphere associated with the unnormalized self-attention (USA) model for noisy transformer dynamics. We prove a sharp global-minimizer dichotomy in every dimension $d\ge2$. There i…
We study the McKean--Vlasov free energy on the unit sphere associated with the unnormalized self-attention (USA) model for noisy transformer dynamics. We prove a sharp global-minimizer dichotomy in every dimension $d\ge2$. There is a unique $β_*^{(d)}>0$ such that \begin{equation…