Nonnegative Kernel Attention

新的核注意力方法揭示了指数特征秩要求

研究人员开发了一种新的核注意力机制，该机制表明在某些非负核注意力模型中，特征秩要求呈指数级增长。具体来说，在布尔输入上的Min-IP上，秩为一的归一化核注意力可以精确地处理长度最多为两个的序列。然而，任何试图以小于1/2的误差解决三个Token序列的归一化非负核注意力头，即使具有任意的Token值和查询相关的读出，也需要指数级的特征数量。这与密集softmax形成对比，后者以显著更少的维度完成了相同的任务。