torch.nextafter

LLM 训练因残差流精度损失而停滞，使用 bf16。

使用 bfloat16 (bf16) 训练大型语言模型会导致残差流中出现严重的精度损失，使得小更新被舍入掉。这是因为 bf16 数字之间可表示的间隔会随着数值增大而增大，而残差流会累积许多小更新。模拟显示，bf16 残差流损失了 fp32 全精度流中漂移的很大一部分。建议的解决方案包括将残差路径保留在 fp32 中，同时使用 bf16 进行矩阵乘法，或采用随机舍入来减轻偏差。