Seyed Morteza Emadi

新的Transformer稳定性分析揭示了注意力敏感性几何学

研究人员开发了一种新颖的Transformer注意力机制敏感性分析方法，将几何学与tokenwise计算对齐。该分析得出了tempered softmax函数的雅可比矩阵的精确恒等式，衡量注意力分布可以被均分的均匀程度。研究结果为多头注意力提供了分布感知的局部雅可比矩阵界限，以及与序列长度无关的Lipschitz界限，并明确依赖于各种模型参数。对早期训练模型的实验表明，注意力变得更加集中，同时在采样层中保持接近最大值的精确敏感性。