KQuant

KQuant 技术将 Qwen 模型量化效果提升高达 3.7 倍

一种名为 KQuant 的新量化技术已被开发出来，为各种 Qwen 模型提供了显著的性能提升。该方法由 Nace 和一位大学教授创建，旨在减少量化过程中模型准确性的损失，特别是对于 4 位打包。与标准的 4 位量化相比，KQuant 在 KL 散度降低方面取得了高达 3.7 倍的更好结果，并提供了适用于 Qwen Flash Next 180B、Qwen 27B、35B 和 9B 模型的版本。