attention weights

ALiBi 位置编码在最先进模型中出现故障

研究人员在 ALiBi 位置编码中发现了一个数值故障，该技术用于一些最先进的预训练模型。当线性偏置缩放发生浮点精度下溢时，就会发生此故障，导致很大一部分注意力权重变为零，并使受影响的注意力头部分失明。虽然此问题会严重损害令牌检索，但对标准解码器基准测试的影响很小。研究人员提出并评估了四种缓解策略，发现对数缩放距离在通行证检索方面提供了最一致的改进。