一位用户正在寻求关于优化 Qwen3.5-9B 模型部署的建议,以支持 10-15 位用户的并发使用。他们目前在配备 8 个 NVIDIA T4 GPU 的 Asus ESC4000 G3 服务器上使用 llama.cpp,但遇到了延迟问题。用户正在探索 vLLM 或其他更快的框架以提高性能,特别是预填充速度,并希望在不产生额外财务成本的情况下找到解决方案。 AI
影响 为并发用户优化 LLM 部署可以提高 AI 应用的效率并降低运营成本。
排序理由 用户关于使用现有硬件部署现有模型的查询。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →