Recurrent Residual Quantization

新的循环残差量化方法加速 LLM 部署

研究人员开发了循环残差量化 (RRQ)，一种用于大型语言模型 (LLM) 的新型训练后量化框架。RRQ 通过将权重表示为具有连续量化残差校正的低比特量化基数，从而允许从单个检查点获得多种有效精度。该方法无需校准，并且比现有技术快得多，在 25 分钟内为 Qwen3-8B 构建了完整的 2-/4-/6-/8 位包，比 MatGPTQ 快 3.3 倍。在六个 LLM 上进行的实验表明，在 6 位和 8 位下具有可竞争的准确性，在 4 位下性能可变。