E2M1

新的UFP4方法解决了LLM FP4预训练中的收缩偏差问题

一篇新研究论文介绍了一种名为UFP4的统一4位训练方法，旨在解决大型语言模型预训练中的收缩偏差问题。研究发现，当前非统一FP4格式（如NVIDIA Blackwell/Rubin和AMD MI350 GPU中使用的E2M1）会引入系统性舍入误差。相比之下，UFP4采用统一网格（E1M2/INT4）来提高量化质量，并在各种模型规模上展示出比现有的基于E2M1的方法更低的损失下降。