zip2zip++

zip2zip++ 方法在最小化质量损失的情况下压缩 LLM 令牌

研究人员开发了 zip2zip++，一种在推理时压缩语言模型令牌且质量损失极小的方法。该技术解决了嵌入冲突、合并令牌的 RoPE 应用不正确以及因合并数字导致的准确性下降等问题。通过解耦嵌入、修改 RoPE 定位以及增强 LZW 编解码器，zip2zip++ 显著提高了困惑度（perplexity）和数学推理准确性，缩小了与未压缩模型相比的质量差距。