Refefer

用户在性能问题中寻求 Qwen 3.6-27B vLLM 生产配置

一位 Reddit 用户正在寻求有关将 Qwen 3.6-27B 配置用于 vLLM 生产环境的帮助，报告称与 llama.cpp 变体相比，性能显着下降，质量也明显下降。他们遇到了 FP8 safetensors 的问题，尤其是在高并发下，并分享了他们当前的 bash 脚本和模型配置。一项更新表明，一个特定的 vLLM pull request 已经解决了与前缀缓存和推测解码相关的损坏问题。