Haoqian Meng

新的ARCQuant框架提升LLM量化性能

研究人员推出ARCQuant，一个旨在提升大型语言模型（LLM）NVFP4量化性能的新框架。该方法通过用量化残差通道增强激活矩阵，解决了将现有量化策略应用于细粒度数值格式的挑战。ARCQuant保持统一的NVFP4格式，允许使用最小开销的优化GEMM内核。在LLaMA和Qwen模型上的实验表明，ARCQuant在精度上可与全精度基线相媲美，并在RTX 5090等GPU上提供比FP16高达3倍的速度提升。