SoScale

SoScale方法提高了LLM的FP4量化精度

研究人员开发了SoScale，一种用于大型语言模型FP4量化中的二阶尺度搜索的新颖方法。该技术旨在提高FP4量化的准确性，这对于减小内存占用和推理成本至关重要。SoScale根据尺度代码对层输出的影响进行优化，而不仅仅是局部重构误差，并与GPTQ风格的误差恢复相结合。在Qwen3模型上的实验表明，SoScale在MXFP4、NVFP4和HiF4等各种FP4格式下始终能减少量化损失。