DUALQUANT

DUALQUANT框架优化大语言模型，实现无校准低比特推理

研究人员开发了DUALQUANT，一个新颖的训练后量化框架，旨在优化大语言模型（LLMs）在加速器上进行低比特推理。该方法通过最小化权重重建均方误差（MSE）来实现具有竞争力的准确性，而无需校准数据，同时还能提供有效的逐通道激活重缩放。DUALQUANT支持MX和NVFP4等多种格式，并在Llama和Qwen等模型上展示了显著的内存减少和吞吐量加速。