在大型语言模型中将 `temperature=0` 设置为保证确定性输出的普遍假设是错误的。这是因为浮点数算术，特别是在 `float16` 精度下，不是满足结合律的，导致在不同顺序计算总和时产生略微不同的结果。此外，LLM 推理中用于矩阵乘法的 GPU 内核在其求和顺序方面并不总是确定性的，因为这可能取决于批次大小等因素，而批次大小又受共享 GPU 的其他用户流量的影响。计算出的 logits 的这些细微差异可能导致模型选择不同的 token，从而产生完全不同的生成文本，即使提示和参数相同。 AI
影响 强调了一个微妙但关键的、影响 LLM 输出可复现性的问题，对测试和部署产生影响。
排序理由 解释了与浮点数算术和 GPU 执行相关的 LLM 推理的技术细节。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
