Blackwell Tensor Cores

NVIDIA 推出 LLM 的 4 位预训练方法 NVFP4

NVIDIA 开发了一种新的 4 位预训练方法 NVFP4，旨在克服窄浮点格式中动态范围减小和量化误差增加的挑战。该方法通过在 10 万亿词元上预训练一个 120 亿参数的混合 Mamba-Transformer 模型得到了成功验证，标志着迄今为止公开记录的最长 4 位精度训练运行。在 MMLU-Pro 基准测试中，所得模型在性能上几乎与 FP8 基线相同，证明了 NVFP4 在大规模模型训练中的可行性。