r/LocalLLaMA subreddit 上的一位用户正在寻求优化在 Tesla V100 GPU 上使用 llama.cpp 运行的 Qwen3.6-MTP-27B 模型的性能。他们目前大约能达到每秒 44-55 个 token，并正在寻找配置调整方法，以在不影响输出质量的情况下提高吞吐量。用户详细说明了他们当前的命令行参数、硬件规格，并就次优标志、MTP 设置的潜在优化以及大上下文大小对生成速度的影响提出了具体问题。 AI
影响 用户寻求最大化本地 LLM 部署的推理速度，这可能为高效模型服务的最佳实践提供信息。
排序理由 用户生成的关于优化开源模型性能的技术问题。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →