Reddit 用户在 r/LocalLLaMA 板块分享了关于 Qwen3.8 27b 模型使用 INT8 量化与 INT4 Activation Aware Quantization (AWQ) 性能对比的发现。用户观察到，在使用 INT4 AWQ 时，尤其是在超过 10 万 token 的长上下文长度下，循环行为显著增加，每项任务的成功率下降。虽然 INT8 也出现了循环，但 INT4 量化加剧了这一问题，表明上下文长度和过度压榨模型是导致这些循环的主要驱动因素。 AI
影响 量化选择对模型稳定性和性能有显著影响，尤其是在大规模应用中，长上下文应用需要仔细考虑。
排序理由 用户进行的关于特定模型量化方法比较的研究。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
