一种名为 KQuant 的新量化技术已被开发出来,为各种 Qwen 模型提供了显著的性能提升。该方法由 Nace 和一位大学教授创建,旨在减少量化过程中模型准确性的损失,特别是对于 4 位打包。与标准的 4 位量化相比,KQuant 在 KL 散度降低方面取得了高达 3.7 倍的更好结果,并提供了适用于 Qwen Flash Next 180B、Qwen 27B、35B 和 9B 模型的版本。 AI
影响 提高了在消费级硬件上运行大型语言模型的效率和性能。
排序理由 为 LLM 提出的新量化技术,并附有基准测试结果。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →