Single-Layer Attention

AI研究量化单层注意力模型中的头部复杂度

研究人员分析了AI模型中单层注意力机制的计算能力，重点关注“头部复杂度”——即计算特定函数所需的最小注意力头数。他们建立了一个层级结构，表明k个头可以计算k位奇偶校验，但不能计算(k+1)位奇偶校验，这一发现无论嵌入维度或数值精度如何都成立。该研究还引入了一个紧凑性定理，证明嵌入维度和精度受限于任务的离散参数，并推导出了通用二元函数的界限，表明虽然2^n个头足以计算任何n位二元函数，但许多函数需要该数量的很大一部分。