Cage

新的CAGE方法提高了AI模型量化的准确性

研究人员推出了一种新颖的量化感知训练（QAT）方法CAGE（Curvature-Aware Gradient Estimation），旨在缩小量化模型与原生训练模型之间的准确性差距。CAGE通过引入一个源自多目标优化视角、平衡损失最小化与量化约束的弯曲感知校正项，来增强直通估计器（STE）。该方法在准确性方面取得了显著改进，在微调场景下将压缩准确性损失减半，并在应用于Llama模型时，实现了与先前4位方法相当的3位量化准确性。