Unsloth 开发的 Qwen 3.8 Flash 模型的新量化方法据称达到了原始 BF16 版本 99% 的性能。这种新的量化方法,称为 UD v3.1,据称比之前的 GSQ RCO 量化方法好 15%,同时保持相似的文件大小。这些发现基于平均 12 项基准测试和约 300 亿个 token 的生成数据,让本地运行模型的用户感到安心。 AI
影响 开源模型的新量化技术可以提高本地推理性能和可访问性。
排序理由 该条目讨论了一种现有开源模型的新量化方法,并详细说明了其相对于原始模型的性能。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →