state-of-the-art pretrained models

ALiBi 位置编码数值失败在 AI 模型中被识别

研究人员在 ALiBi 位置编码中发现了一个重大的数值失败问题，ALiBi 是许多最先进的预训练模型中使用的组件。ALiBi 中的线性偏置缩放会导致浮点精度下溢，使得相当一部分注意力权重变为零，导致注意力头部分失明。这个问题主要影响令牌检索任务，例如密码检索，而对标准的解码器基准测试影响较小。该研究提出并评估了四种缓解策略，其中对数缩放距离在密码检索方面显示出最一致的改进，尽管默认的 ALiBi 斜率在“针尖寻踪”检索方面仍然是一个强大的基线。