研究人员在 ALiBi 位置编码中发现了一个重大的数值失败问题，ALiBi 是许多最先进的预训练模型中使用的组件。ALiBi 中的线性偏置缩放会导致浮点精度下溢，使得相当一部分注意力权重变为零，导致注意力头部分失明。这个问题主要影响令牌检索任务，例如密码检索，而对标准的解码器基准测试影响较小。该研究提出并评估了四种缓解策略，其中对数缩放距离在密码检索方面显示出最一致的改进，尽管默认的 ALiBi 斜率在“针尖寻踪”检索方面仍然是一个强大的基线。 AI
影响 强调了当前位置编码方法的一个潜在局限性，促使研究人员探索更鲁棒的训练策略以改进令牌检索。
排序理由 学术论文，详细介绍了特定 AI 模型组件（ALiBi 位置编码）的数值失败。
在 Hugging Face Daily Papers 阅读 →
- Alibi
- attention heads
- attention weights
- Christopher Schröder
- decoder benchmarks
- decoder models
- floating-point precision
- passkey retrieval
- state-of-the-art pretrained models
- token retrieval
- needle-in-a-haystack retrieval
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
