English(EN) Qwen3.8-27B-int4-AutoRound (18GB) - with working MTP spec decode

具有 MTP spec decode 的 Qwen3.8-27B-int4-AutoRound 模型已分享

作者 PulseAugur 编辑部 · [1 个来源] · 2026-08-16 12:34

Reddit 上的一位用户分享了 Qwen3.8-27B 模型的量化版本，特别是 int4-AutoRound 变体，需要 18GB VRAM。该用户强调此版本包含可用的 MTP（多轮提示）spec decode，表明其对话能力或效率有所提升。 AI

影响像这样的量化模型使得在消费级硬件上更广泛地本地部署大型语言模型成为可能。

排序理由用户分享的量化模型发布，非前沿实验室发布。

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

r/LocalLLaMA TIER_1 English(EN) · /u/BusinessMud9586 · 2026-08-16 12:34

Qwen3.8-27B-int4-AutoRound (18GB) - 具有 MTP spec decode 功能

<table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1vpvwqh/qwen3827bint4autoround_18gb_with_working_mtp_spec/"> <img alt="Qwen3.8-27B-int4-AutoRound (18GB) - with working MTP spec decode" src="https://external-preview.redd.it/gr3-Pf0EHJ7HvkEOgHbOMyrNzd6HKK83BE…