SVFlow

Transformer as an Euler Discretization of Score-based Variational Flow

研究人员提出了一个名为基于分数的变分流（SVFlow）的新理论框架，它为表示学习提供了一个连续时间动力学系统视角。该框架表明，Transformer架构可以被视为SVFlow的精确前向欧拉离散化。论文详细介绍了Transformer中的多头注意力、MoE/FFN层以及残差归一化块如何对应于SVFlow矢量场及其几何属性的近似。