Migalovo

Qwen3.8 27B 模型量化基准测试揭示最佳设置

r/LocalLLaMA 上的一位用户对 Qwen3.8 27B 模型进行了广泛的基准测试，在适合 16GB VRAM 的 9 种量化级别上评估了 21 个不同的模型。分析侧重于 Kullback-Leibler 散度 (KLD) 和困惑度，以确定最佳量化策略。研究结果表明，q5_1/q5_1 量化通常优于 q8_0/q4_0 或 q4_0/q8_0，并且使用 q4_0/q4_0 下可能实现的最高模型量化通常优于 f16/f16 下的较低量化。