一位用户成功优化了一个定制的 vLLM 分支,在 Radeon Pro V620 GPU 上实现了显著的性能提升。该配置使用了 8 张 Radeon Pro V620 显卡,总计 256 GB 显存,在使用 Qwen3.8-Flash-Next 模型时,达到了 60-100 tokens/s 的解码速度和超过 3000 tokens/s 的预填充速度。用户最初在使用 llama.cpp 时遇到困难,其预填充速度远低于预期,并且发现 vLLM 最初不支持 V620 显卡。他们为 RDNA2 架构开发的定制内核解决了这些问题,与 llama.cpp 相比,性能提升了约 800%。 AI
影响 通过定制软件优化,展示了在消费级/专业级硬件上实现显著性能提升的潜力。
排序理由 用户为现有硬件和软件开发的优化方案。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →