最近的一项实验显示,将大型语言模型的温度设置为零并使用固定种子并不能保证确定性输出。在使用 Ollama 和 llama3.1:8b 模型时,相同的提示和设置在第六次请求时产生了不同的故事输出,尽管后续请求恢复了原始文本。这表明在禁用采样的情况下,由于 GPU 内核或操作顺序等因素的影响,令牌评分期间浮点计算的细微差异会导致变化。 AI
影响 突出了 LLM 输出中可复现性方面潜在的问题,影响了 AI 代理的可靠性和研究。
排序理由 该条目描述了关于 LLM 行为的实验和观察,而不是新的模型发布或产品发布。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →