一项技术分析显示，在大型语言模型 (LLM) 中使用 bfloat16 实现旋转位置嵌入 (RoPE) 会导致位置信息严重丢失。由于 bfloat16 对整数的精度有限，超过 256 个 token 的位置会被四舍五入，导致相邻的 token 被视为相同的位置。这种舍入会大大降低注意力机制的准确性，一项合成测试显示，在 8,192 个 token 的序列中，top-1 准确率从近 100% 下降到 3.5%。问题源于在将位置 ID 用于三角计算之前对其进行舍入，而对最终的余弦和正弦表进行舍入则影响甚微。 AI
影响 这一发现突显了 bfloat16 中一个关键的精度问题，可能会降低 LLM 在长上下文上的性能，因此需要仔细实现位置嵌入。
排序理由 对 LLM 架构中特定实现细节的技术分析。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
