最近的回归测试显示，vLLM 的 temperature 0 设置（旨在实现确定性输出）并未始终产生相同的结果。这种非确定性源于 vLLM 使用连续批处理，这意味着一个请求的批次组成会根据共享 GPU 的其他并发请求而改变。不同的批次大小会导致 GPU 内核以不同的顺序对浮点数求和，从而产生略有不同的 logits。当排名前两个 token 的概率非常接近时，这可能导致模型选择不同的 token，进而导致生成文本其余部分输出发散。该问题在 Llama 3.1 8B Instruct 上观察到，并凸显了批次组成对推理结果的影响。 AI
影响 强调了可复现的 LLM 评估中潜在的问题以及硬件批处理对模型输出一致性的影响。
排序理由 对 LLM 推理系统的行为进行技术分析。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
