Aff(2)

新的李代数注意力将 Token 视为群元素

研究人员引入了一种新颖的注意力机制，称为李代数注意力（Lie-Algebra Attention），它将 Token 视为矩阵李群的元素。这种方法允许注意力分数从相对姿态的内在几何形状导出，而不是依赖于学习到的核函数。在涉及 SE(2)、SO(3) 和 Aff(2) 的序列补全任务上的实验表明，这种闭式分数匹配或优于学习到的 MLP 核函数，使用的参数显著减少，并保持了不变性。