研究人员提出了一个名为基于分数的变分流（SVFlow）的新理论框架，它为表示学习提供了一个连续时间动力学系统视角。该框架表明，Transformer架构可以被视为SVFlow的精确前向欧拉离散化。论文详细介绍了Transformer中的多头注意力、MoE/FFN层以及残差归一化块如何对应于SVFlow矢量场及其几何属性的近似。 AI
影响 为Transformer架构提供了理论基础，可能指导未来的模型设计和分析。
排序理由 提出新理论框架以理解Transformer架构的学术论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
arXiv:2604.23740v1 Announce Type: new Abstract: Despite the Transformer's dominance across machine learning, its architecture remains largely heuristic and lacks a unified theoretical foundation. We introduce Score-based Variational Flow (SVFlow), a continuous-time dynamical syst…