Hidden States

研究解释了为什么训练后量化对大型语言模型有效

一篇新的研究论文探讨了大型语言模型（LLMs）中训练后量化（PTQ）的现象。PTQ通过降低模型权重的精度来压缩LLMs，这通常会在隐藏状态中引入错误。该论文确定了两个关键机制，解释了为什么预训练模型对这些量化误差具有鲁棒性。首先，一层引入的误差倾向于抵消前一层继承的误差，导致差异的缓慢增长。其次，语言模型头部的几何结构优先考虑高排名标记，保留了模型最自信的预测。这些因素共同解释了为什么PTQ在大幅降低权重的情况下仍能保持下游任务的性能。