W2A16

新方法通过谱旋转大幅降低大模型量化比特宽度

研究人员开发了一种名为BBT-spectral的新方法，用于将大语言模型（LLM）量化到极低的比特宽度，特别是W2A16（2比特权重，16比特激活）。该技术利用受影响启发式谱旋转和重建误差量化器，显著降低了困惑度，在各种模型尺寸上比普通自动舍入量化性能高出15-58%。该方法已扩展到解决Qwen3和Qwen2.5等模型的特定架构挑战，证明了其在不同大模型家族中的适应性和有效性。