OV operators

新研究详解Transformer注意力中的“可扩展幂等性”

研究人员在Transformer注意力机制中识别出一种特定的代数模式，称为“可扩展幂等性”。这种模式涉及有效OV算子的稀疏子集，它们在组合下几乎闭合，意味着将算子应用两次得到的结果与应用一次相似。跨多个模型和参数大小的实验表明，相当大比例的注意力头表现出这种闭合特性，而训练好的方向在实现这一点上起着至关重要的作用。研究进一步表明，虽然这种现象的几何容量广泛存在，但在训练好的模型中通常未被充分实现，而值的共享可以将这种头部的关系扩展到局部算子代数。