一款名为 Saber 的新推理引擎已发布,使用 Rust 开发,专为 AMD R9700 GPU 设计。Saber 支持多种张量并行,特别支持 Qwen 3.8 27b 和 Flash next 模型。基准测试表明,Saber 在这些模型上的表现优于现有引擎,实现了高令牌生成速度。 AI
影响 为在 AMD 硬件上本地部署 LLM 提供了改进的推理速度。
排序理由 发布了针对特定硬件的新推理引擎。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
一款名为 Saber 的新推理引擎已发布,使用 Rust 开发,专为 AMD R9700 GPU 设计。Saber 支持多种张量并行,特别支持 Qwen 3.8 27b 和 Flash next 模型。基准测试表明,Saber 在这些模型上的表现优于现有引擎,实现了高令牌生成速度。 AI
影响 为在 AMD 硬件上本地部署 LLM 提供了改进的推理速度。
排序理由 发布了针对特定硬件的新推理引擎。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
<table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1xpicjz/qwen38_27b_hitting_6645_toks_on_prefill_and_316/"> <img alt="Qwen3.8 27b hitting 6,645 tok/s on prefill and 316 tok/s decode peak on Saber" src="https://preview.redd.it/jqp4n2gwx00i1.png?width=140&…