Boje Li

Qwen3.6-27B 模型量化显示知识损失呈非线性

对 Qwen3.6-27B 模型进行的案例研究表明，虽然量化显著减小了模型尺寸，但其对事实知识的影响是非线性的。最初，量化到 4 位时，在不可压缩知识探测 (IKP) 基准测试中的性能下降很小，有些甚至在效率方面优于更大、未经量化的模型。然而，进一步量化到 3 位，尤其是 2 位，会导致知识损失更严重，这表明量化是一种可行的压缩技术，但超过某个点后，质量下降的速度比从头开始训练更小的模型要快。