实体
temperature=0
temperature=0
PulseAugur coverage of temperature=0 — every cluster mentioning temperature=0 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
LLM temperature=0 的输出可能因浮点数计算和共享 GPU 而异
在大型语言模型中将 `temperature=0` 设置为保证确定性输出的普遍假设是错误的。这是因为浮点数算术，特别是在 `float16` 精度下，不是满足结合律的，导致在不同顺序计算总和时产生略微不同的结果。此外，LLM 推理中用于矩阵乘法的 GPU 内核在其求和顺序方面并不总是确定性的，因为这可能取决于批次大小等因素，而批次大小又受共享 GPU 的其他用户流量的影响。计算出的 logits 的这些细微差异可能导致模型选择不同的 …
-
LLM temperature=0 推理因 GPU 批处理而非确定性
LLM 在 temperature=0（通常选择概率最高的 token）下的推理并不保证是确定性的，因为浮点运算和 GPU 上的批处理的性质。共享 GPU 资源的并发请求会改变矩阵乘法和注意力等计算中的操作顺序，导致输出概率出现微小差异。当两个最高概率 token 的概率非常接近时，这些微小的差异会导致模型选择不同的 token，从而产生完全不同的输出序列。为了实现真正的逐位可重现性，需要专门的批处理不变内核，这可能会带来性能成本。