ALiBi 位置编码在最先进模型中出现故障

研究人员在 ALiBi 位置编码中发现了一个数值故障，该技术用于一些最先进的预训练模型。当线性偏置缩放发生浮点精度下溢时，就会发生此故障，导致很大一部分注意力权重变为零，并使受影响的注意力头部分失明。虽然此问题会严重损害令牌检索，但对标准解码器基准测试的影响很小。研究人员提出并评估了四种缓解策略，发现对数缩放距离在通行证检索方面提供了最一致的改进。 AI

影响 识别出位置编码中的一个关键故障，该故障可能影响模型在特定检索任务上的性能。

排序理由 学术论文，详细介绍了特定人工智能技术中的技术故障模式。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• Alibi
• attention heads
• attention weights
• Christopher Schröder
• decoder benchmarks
• decoder models
• floating-point precision
• passkey retrieval
• state-of-the-art pretrained models
• token retrieval

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →