Reddit r/LocalLLaMA 版块的一名用户正在寻求优化在三块 NVIDIA 2080 Ti GPU 上运行的 Qwen-3.6 27B 模型性能。他们目前使用 llama.cpp 达到了每秒 55 个 token 的速度，并分享了他们的具体配置参数，包括模型量化 (Q5_K_M)、上下文大小和批处理大小，希望获得进一步提升性能的建议。 AI
影响 关于特定模型和硬件配置推理速度优化的细分讨论。
排序理由 用户级别关于使用特定软件工具优化特定模型和硬件设置的讨论。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>CPU: Threadripper 3970X<br /> RAM: 128GB DDR4<br /> GPUs: 3x2080ti 11GB</p> <p>The current best parameters to run it:</p> <pre><code>llama-server \ --model Qwen3.6-27B-Q5_K_S.gguf \ --n-gpu-layers 999 \ --split-mode tensor \ --flash-attn on \ --c…