CodeQuant2

CodeQuant2框架通过改进量化来增强低精度LRM

研究人员推出了一种新颖的量化框架CodeQuant2，旨在提高低精度大型推理模型（LRM）的性能。该方法通过旋转和缩放来缓解激活值异常值，并通过聚类来表示非均匀权重分布，从而解决了推理任务中的挑战。CodeQuant2还根据层量化难度自适应调整码本大小，并优化校准样本选择以更好地匹配解码统计数据，在推理基准测试中取得了显著的准确性和速度提升。