Squeeze10-LLM

新方法以最小的精度损失将LLM权重压缩10倍

研究人员开发了Squeeze10-LLM，一种新颖的训练后量化框架，旨在显著减小大型语言模型的尺寸。该方法通过将80%的权重量化到1位，20%的权重量化到4位，平均每权重实现1.6位，从而有效地将模型压缩了10倍。关键创新包括后二值化激活鲁棒性（PBAR）和全信息激活监督（FIAS），以减轻性能下降。在LLaMA和LLaMA2模型上的实验表明，Squeeze10-LLM在低于2位的仅权重量化方面表现优越，提高了零样本分类任务的准确性。