一位 Reddit r/LocalLLaMA 社区的用户发现，移除 GGML_CUDA_ALLREDUCE 环境变量显著提升了多令牌预测 (MTP) 的性能。此更改带来了每秒令牌数的明显增加，用户报告称调整后性能从之前的 17-30 范围大幅提升。该用户分享此发现是为了帮助其他在 MTP 中遇到类似性能问题的人。 AI
影响 此配置更改可能为本地运行多令牌预测 (MTP) 的用户提供性能改进。
排序理由 针对特定软件组件的用户级配置调整。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>Been fighting this a while, mtp seeing lows at 17 to sometimes 30's and today I went and dug deep and tried so many different configuartions, cmake remakes, you name it. After it all I finally tried removing GGML_CUDA_ALLREDUCE and I finally saw …