Four Over Six

新的 4/6 量化方法通过自适应缩放提升大语言模型精度

研究人员开发了一种名为 Four Over Six (4/6) 的新量化方法，以提高 NVFP4 等低精度数值格式在大语言模型中的精度。该技术自适应地将块缩放到更小的 FP4 值，从而减少量化误差，尤其是在接近最大值时。使用 Nemotron 3 Nano 30B-A3B 模型架构进行的实验表明，与现有的 NVFP4 方法相比，4/6 方法能使训练损失更接近 BF16，且计算开销极小。