PulseAugur
中
实时 10:31:45
English(EN) Three Tokens Force Exponential Feature Rank in Nonnegative Kernel Attention

新的核注意力方法揭示了指数特征秩要求

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种新的核注意力机制，该机制表明在某些非负核注意力模型中，特征秩要求呈指数级增长。具体来说，在布尔输入上的Min-IP上，秩为一的归一化核注意力可以精确地处理长度最多为两个的序列。然而，任何试图以小于1/2的误差解决三个Token序列的归一化非负核注意力头，即使具有任意的Token值和查询相关的读出，也需要指数级的特征数量。这与密集softmax形成对比，后者以显著更少的维度完成了相同的任务。 AI

影响 这一理论发现突出了某些核注意力架构的潜在局限性，表明需要更有效的特征表示来处理更长的上下文。

排序理由 该集群包含一篇详细介绍核注意力机制新理论发现的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的核注意力方法揭示了指数特征秩要求

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Vicente Opazo ·

    三个 Token 强制非负核注意力中的指数特征秩

    arXiv:2608.11427v1 Announce Type: new Abstract: Full attention exposes every token pair, whereas kernel attention compresses a sequence into a fixed-dimensional sketch. We show that this distinction becomes exponential at the first context length containing two competing candidat…

相关实体

相关话题