Min-IP

核注意力在最新研究中面临指数特征秩挑战

一篇新的研究论文探讨了自然语言处理中核注意力机制的局限性。研究表明，虽然全注意力暴露了每个 Token 对，但核注意力将序列压缩成固定维度的草图。在出现竞争性候选的上下文长度下，这种区别呈指数级增长。论文显示，对于布尔输入上的 Min-IP，秩一归一化核注意力可以精确解决长度为两的序列，但任何单一归一化的非负核注意力头在处理三个 Token 的序列时，都需要指数数量的特征才能以最小的误差成功。