English(EN) R9V: A designer set of kernels I've been working on for R9700s/RDNA4. Qwen3.8-Flash-Next Unsloth IQ4_XS (w/ TP on 2 R9700s, MTP, SSD n-gram, 128k ctx, vision): TG256 of *78 tok/s* (~3x increase), PP8192 of *1510 tok/s* (~30x increase).

自定义 RDNA4 内核将 Qwen3.8 性能提升高达 30 倍

作者 PulseAugur 编辑部 · [1 个来源] · 2026-08-31 01:13

一位开发者创建了一套名为 R9V 的自定义内核，旨在优化 RDNA4 显卡的性能，特别是针对 AMD 的 R9700s。当应用于 vLLM-Radiance 推理引擎时，这些内核显著提高了 Qwen3.8-Flash-Next 等模型的速度，在某些任务中实现了高达 30 倍的性能提升。该项目还包括为密集模型开发的独立推理引擎，并提供了 Qwen3.8-Flash-Next 和 Muse Glimmer 30B 的软件包，并与 llama.cpp 等其他后端进行了性能比较。 AI

影响对 RDNA4 硬件的优化可能有助于 AMD GPU 更广泛地采用本地 LLM。

排序理由开发者为特定硬件创建的优化内核。[lever_c_demoted from research: ic=1 ai=0.7]

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 2 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 开发者为特定硬件创建的优化内核。[lever_c_demoted from research: ic=1 ai=0.7]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra, model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Same-day; Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

r/LocalLLaMA TIER_1 English(EN) · /u/Public_Umpire_1099 · 2026-08-31 01:13

R9V：我为R9700s/RDNA4设计的一套内核。Qwen3.8-Flash-Next Unsloth IQ4_XS (在2个R9700s上带TP，MTP，SSD n-gram，128k ctx，vision)：TG256的*78 tok/s*（约3倍提升），PP8192的*1510 tok/s*（约30倍提升）。

<div class="md"><h1>TL;DR: Ninfer/DS4 but for RDNA4</h1> <p>Highly custom kernels built for RDNA4, applied to vLLM-Radiance to greatly improve Qwen3.8 Flash Next speeds. This is mostly for dual R9700s with preferably 48GB of RAM or higher, but feel free to tinker. …

本文如何被排名

报道来源 [1]

R9V：我为R9700s/RDNA4设计的一套内核。Qwen3.8-Flash-Next Unsloth IQ4_XS (在2个R9700s上带TP，MTP，SSD n-gram，128k ctx，vision)：TG256的*78 tok/s*（约3倍提升），PP8192的*1510 tok/s*（约30倍提升）。

相关实体

相关话题

R9V：我为R9700s/RDNA4设计的一套内核。Qwen3.8-Flash-Next Unsloth IQ4_XS (在2个R9700s上带TP，MTP，SSD n-gram，128k ctx，vision)：TG256的78 tok/s（约3倍提升），PP8192的1510 tok/s（约30倍提升）。