GaugeQuant

GaugeQuant 通过学习模型对称性来优化大语言模型量化

研究人员开发了 GaugeQuant，一种利用大语言模型（LLMs）内部对称性来优化其量化过程的新颖方法。该技术在训练损失中引入了一个 LogSumExp 项，引导模型选择量化最优基，而无需校准数据或模拟。在 W4A4 量化下对 LLaMA-2 7B 模型进行的实验显示，困惑度从 8.22 显著降低到 6.73，优于一些训练后量化方法。在 W4A16 量化下观察到进一步改进，困惑度从 11.16 下降到 5.45。