r/LocalLLaMA subreddit 上的一位用户在使用 vLLM 运行 Qwen 3.8 27B 模型时遇到了严重的性能问题。尽管尝试了各种 vLLM 版本、量化方法（FP8、NVFP4）和配置标志，该模型仍然表现出过长的推理时间，对基本提示需要几分钟才能响应。这与其他模型（如 Qwen 3.6 和 DeepSeek V4 Flash）在相同硬件上表现更快形成对比。用户正在寻求解决方案的见解，例如特定的聊天模板调整或生成参数调整，以解决这种“无尽思考”的行为。 AI
影响 Qwen 3.8 27B 用户在 vLLM 上可能面临性能瓶颈，影响本地部署的可用性。
排序理由 用户报告了特定模型和推理引擎组合的问题。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
