XBill

LLM在不同GPU上的输出差异可追溯至浮点运算

即使设置和模型相同，LLM的输出也会因GPU之间浮点运算的差异而有所不同。这些差异源于浮点加法的非结合性，运算顺序的不同可能导致中间结果略有差异。虽然大多数token的生成置信度都很高，但在模型接近平局时，最后一位数字的微小差异就可能导致分歧，从而产生不同的token预测和后续输出。提供的脚本有助于识别模型运行之间发生此类分歧的确切token。