Jette Oberländer

新的量化方法提升大语言模型效率和速度

研究人员开发了CAT-Q，一种新颖的训练后量化方法，可在无需大量重新训练的情况下显著压缩和加速大语言模型（LLMs）。该技术采用可学习调制和软化三值化，能够高效地量化从1.7B到235B参数的模型，仅使用少量校准样本，并取得了优于BitNet等现有方法的性能。此外，GRINQH提供了一种基于梯度输入的量化层级，通过根据激活值大小动态分配精度级别来优化大语言模型的生成，在Llama 3和Qwen3等模型上表现优于当前基线。