INSERTQUANT

LLM激活尖峰被识别为结构向量偏见

研究人员发现，大型语言模型（LLM）中的大规模激活尖峰并非简单的标量偏见，而是特定token内的结构向量偏见。这些向量通过模型的投影权重和位置嵌入得以保留，即使在扰动下也是如此。为了解决这些尖峰在量化过程中造成的性能下降问题，开发了一种名为INSERTQUANT的新型训练后量化框架。该方法对尖峰进行钳制并恢复其功能，从而能够实现跨模态的高保真度、鲁棒的低比特量化。