新的李代数注意力机制将 Token 视为群元素

研究人员引入了一种新颖的注意力机制，称为李代数注意力（Lie-Algebra Attention），它将 Token 视为矩阵李群（matrix Lie group）的元素，而不是特征向量。这种方法允许使用封闭形式的代数范数来计算注意力分数，直接利用群元素的内在几何特性。在 SE(2)、SO(3) 和 Aff(2) 上的实验表明，该方法可以匹配或超越学习到的核函数，同时显著减少了分数参数的数量并保持了不变性。 AI

影响 为注意力机制引入了新的理论框架，可能在计算机视觉和其他领域带来更高效和不变的模型。

排序理由 学术论文，介绍了一种新颖的注意力机制。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• Aff(2)
• Lie-Algebra Attention
• multilayer perceptron
• Przemyslaw Musialski
• rotation group SO(3)
• SE(2)-Constrained Visual Inertial Fusion for Ground Vehicles

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →