一位 r/LocalLLaMA subreddit 的用户正在寻求关于优化双 Nvidia A100 80GB GPU 设置性能的建议。当运行多个用户或会话时，他们发现生成速度显著下降，从 50-70 tokens/s 降至 10-15 tokens/s。该用户目前正在使用 llama.cpp，并针对 agentic coding 任务配置了特定的模型和参数，并考虑切换到 vLLM 或在每个 GPU 上运行 Qwen3.6-35B-A3B 的独立实例以提高吞吐量。 AI
影响 优化本地 LLM 推理性能是高效 agentic 应用和更广泛采用的关键。
排序理由 用户寻求关于 AI 工作负载的硬件/软件优化建议。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
