vLLM-Radiance
PulseAugur coverage of vLLM-Radiance — every cluster mentioning vLLM-Radiance across labs, papers, and developer communities, ranked by signal.
-
使用 Radeon R9700 GPU 构建的自定义 AI 服务器用于本地 LLM 推理
一位 Reddit 用户分享了为本地运行大型语言模型而设计的自定义 AI 服务器的详细信息。该机器每台成本约 10,733.91 美元，配备四块 ASRock Radeon AI PRO R9700 Creator GPU，每块卡提供 128 GB VRAM，三台机器总共提供 384 GB VRAM。这些系统用于为一家枪支相关企业提供 AI 支持，处理事实核查、业务识别和数据提取等任务，并选择了 Qwen/Qwen3.8-27B-FP…
-
zzpanic 发布最终 vLLM-Radiance 版本，优化 GPU 内存
一位用户发布了其 zzpanic vLLM-Radiance 版本的最终修订版，该版本针对单个 R9700 GPU 进行了优化。此次更新包含了一个启动缓存功能，以防止重启时重新编译，以及一个功能性的 kv-offload（用于系统 RAM 和磁盘），包括用于存储效率的内存稀疏化。这些增强功能旨在促进在单显卡上使用长上下文窗口进行多代理操作。
-
Quad R9700 AI Pro GPU 配合 vLLM-Radiance 达到 17.6k tokens/秒
一位用户分享了使用四块 R9700 AI Pro GPU 配合 vLLM-Radiance 获得高 性能的经验。他们报告称，预填充速度达到了每秒 17.6k token，峰值吞吐量为每秒 106 token。该设置运行在配备 EPYC 7282 CPU 的 Gigabyte MZ32-AR0 主板上，使用了 Hermes 模型和 Qwen 3.8 27b，官方支持双 GPU 配置，但用户成功地使用了四块。
-
自定义 RDNA4 内核将 Qwen3.8 性能提升高达 30 倍
一位开发者创建了一套名为 R9V 的自定义内核，旨在优化 RDNA4 显卡的性能，特别是针对 AMD 的 R9700s。当应用于 vLLM-Radiance 推理引擎时，这些内核显著提高了 Qwen3.8-Flash-Next 等模型的速度，在某些任务中实现了高达 30 倍的性能提升。该项目还包括为密集模型开发的独立推理引擎，并提供了 Qwen3.8-Flash-Next 和 Muse Glimmer 30B 的软件包，并与 llam…