研究人员发布了 Qwen3.8-27B 的新 GGUF 量化模型,采用了 GSQ(Gumbel-Softmax 量化)和 RCO(黎曼约束优化)技术。这些方法旨在提高模型在较低比特率(2.5 至 3.0 bpw)下的质量和精度,同时保持与先前量化相同的模型文件大小。据报道,新模型在 AIME25、GPQA-Diamond 和 LiveCodeBench 等基准测试中的精度方面,与 Qwen3.8-27B 现有的 GGUF 量化模型相当或超出。 AI
影响 为量化模型提供了更高的精度,有可能在消费级硬件上更有效地部署大型语言模型。
排序理由 发布采用新方法和基准测试结果的量化模型。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →