PulseAugur
中
实时 10:21:25
English(EN) $2800 rig with 8x Radeon Pro V620 (256 GB VRAM) + custom vLLM fork = Qwen3.8-Flash-Next at 60 to 100 t/s decode and 3000+ t/s prefill

定制 vLLM 分支提升 Radeon Pro V620 运行 Qwen3.8-Flash-Next 的性能

一位用户成功优化了一个定制的 vLLM 分支,在 Radeon Pro V620 GPU 上实现了显著的性能提升。该配置使用了 8 张 Radeon Pro V620 显卡,总计 256 GB 显存,在使用 Qwen3.8-Flash-Next 模型时,达到了 60-100 tokens/s 的解码速度和超过 3000 tokens/s 的预填充速度。用户最初在使用 llama.cpp 时遇到困难,其预填充速度远低于预期,并且发现 vLLM 最初不支持 V620 显卡。他们为 RDNA2 架构开发的定制内核解决了这些问题,与 llama.cpp 相比,性能提升了约 800%。 AI

影响 通过定制软件优化,展示了在消费级/专业级硬件上实现显著性能提升的潜力。

排序理由 用户为现有硬件和软件开发的优化方案。

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

定制 vLLM 分支提升 Radeon Pro V620 运行 Qwen3.8-Flash-Next 的性能

本文如何被排名

Signal score
0 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
用户为现有硬件和软件开发的优化方案。
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
infra, model release
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
44 days old
Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/_TheWolfOfWalmart_ ·

    2800美元的8块Radeon Pro V620(256GB显存)+定制vLLM分支 = Qwen3.8-Flash-Next,解码速度60-100 t/s,预填充速度3000+ t/s

    <table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1x0wnz1/2800_rig_with_8x_radeon_pro_v620_256_gb_vram/"> <img alt="$2800 rig with 8x Radeon Pro V620 (256 GB VRAM) + custom vLLM fork = Qwen3.8-Flash-Next at 60 to 100 t/s decode and 3000+ t/s prefill" src="htt…