一位 Reddit 用户分享了 Qwen 3.8-27B 模型在 AMD 硬件上运行的性能指标。该用户报告称,在 Ryzen AI MAX+ 395 上达到了每秒 24 个 token,在 Radeon AI PRO R9700 上达到了每秒 51 个 token。这些数据被认为是对于 AMD GPU 上运行的密集型模型来说令人印象深刻的数字,并且该用户正在社区中征集关于不同量化级别和上下文长度的进一步性能数据和优化命令行参数。 AI
影响 展示了在 AMD 硬件上高效部署本地 LLM 的潜力。
排序理由 用户分享的特定模型在消费级硬件上的性能指标。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →