yeasah 开发的 Qwen3.8-27B 模型的新量化版本实现了 0.0002 的平均 KLD(Kullback-Leibler 散度)。这代表了比包括 Unsloth 和 Minachist 在内的其他测试量化更低的散度。yeasah 量化版本还需要更少的 VRAM,权重占用 18.8 GiB,而其他版本需要更多。 AI
影响 为本地 LLM 部署提供了更高的效率和性能。
排序理由 发布了具有基准性能指标的量化模型。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →