PulseAugur
中
实时 07:54:24
English(EN) The Token Is a Group Element: On Lie-Algebra Attention over Matrix Lie Groups

新的李代数注意力将 Token 视为群元素

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员引入了一种新颖的注意力机制，称为李代数注意力（Lie-Algebra Attention），它将 Token 视为矩阵李群的元素。这种方法允许注意力分数从相对姿态的内在几何形状导出，而不是依赖于学习到的核函数。在涉及 SE(2)、SO(3) 和 Aff(2) 的序列补全任务上的实验表明，这种闭式分数匹配或优于学习到的 MLP 核函数，使用的参数显著减少，并保持了不变性。 AI

影响 引入了一种新颖的注意力机制，该机制可以通过利用群论来提高序列建模任务的性能和效率。

排序理由 该集群包含一篇详细介绍机器学习新研究方法的学术论文。

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新的李代数注意力将 Token 视为群元素

报道来源 [2]

  1. arXiv cs.LG TIER_1 English(EN) · Przemyslaw Musialski ·

    The Token Is a Group Element: On Lie-Algebra Attention over Matrix Lie Groups

    arXiv:2606.20547v1 Announce Type: new Abstract: We place the attention token on the group: a token is an element $g_i$ of a matrix Lie group $G$ -- a bare transformation, with no feature payload and no external action $\rho(g)$ carrying it. To our knowledge this is the first atte…

  2. arXiv cs.CV TIER_1 English(EN) · Przemyslaw Musialski ·

    The Token Is a Group Element: On Lie-Algebra Attention over Matrix Lie Groups

    We place the attention token on the group: a token is an element $g_i$ of a matrix Lie group $G$ -- a bare transformation, with no feature payload and no external action $ρ(g)$ carrying it. To our knowledge this is the first attention construction whose tokens are bare matrix Lie…

相关实体

相关话题