Dory 1.0 4B

NVFP4 量化在 Ada GPU 上提供 2.3 倍更快的解码速度，质量媲美 BF16

一篇技术博文比较了大型语言模型在 NVIDIA Ada GPU 上不同量化格式的性能。分析重点关注 NVFP4、FP8 和 GGUF，发现 NVFP4 在解码方面具有显著的速度优势，比 bfloat16 快 2.3 倍，同时在 GSM8K 基准测试中保持了相当的质量。当乘法以 8 位执行时，FP8 表现出色，而在逐个 token 生成中，MXFP8 显示出对 bfloat16 的最高保真度。