Reddit 的 r/LocalLLaMA 社区的一位用户在使用 llama.cpp 的并行代理时遇到了性能问题。虽然解码性能非常好，但在执行需要处理数千个 token 的网络搜索等任务时，一个代理的预填充阶段会导致所有其他代理停滞。该用户分享了他们用于 llama-server 的命令行参数，并正在寻求有关如何优化配置以获得更好并行代理性能的建议。 AI
影响 突显了本地 LLM 设置中分布式推理的潜在瓶颈。
排序理由 用户报告的特定软件工具功能问题。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>Testing with 3-5 agents. Decode performance is superb, however if one performs a web search and needs to process a few thousand tokens, ALL other agents will grind to a halt:</p> <p>I've tried tuning a little bit, but no luck.</p> <p>example comm…