设置为温度 0 的大型语言模型（LLM），通常会使其变得贪婪和确定性，但对于相同的提示仍然可以产生不同的输出。这种可变性并非来自模型的创造力，而是来自底层的硬件和软件执行。具体来说，浮点算术的非结合性以及 GPU 内核归约顺序的变化（受批处理大小和其他并发请求的影响）会导致 logits 的细微变化。这些微小的数值差异在自回归解码过程中可能会被放大，从而导致输出改变，这种现象被称为缺乏批次不变性。 AI
影响 强调了在 LLM 推理中实现比特级可复现性的挑战，影响了测试和部署。
排序理由 关于 LLM 推理中非确定性的技术解释。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
