Softmax quantization

SoftWater 方法优化 LLM 量化以减小内存占用

研究人员开发了一种名为 SoftWater 的新方法，用于量化大型语言模型的 softmax 输出层。该技术将量化视为一个率失真问题，以原始分布和量化分布之间的 KL 散度进行优化。SoftWater 根据类感知分配量化比特，为频繁的低方差类别分配更多精度，为稀有类别分配较少精度，这对于具有 Zipfian 令牌分布的模型尤其有效。该方法优于现有量化器，并在困惑度增加极小的情况下显著减小了模型的内存占用，使得头量化更加实用。