作者在 AMD 的 Strix Halo 平台(特别是 Ryzen AI Max+ 395 芯片)上对 Muse Glimmer 30B 模型进行了一周的性能基准测试。测试在 Linux 上使用 ROCm 进行,探索了包括上下文深度、服务形状、KV 缓存类型和量化级别在内的各种配置。主要发现表明,模型的最佳草稿长度因任务而异,与开放式散文生成相比,代理回合通过更长的草稿设置(n-max 15-16)可以获得更高的每秒令牌吞吐量。 AI
影响 提供了在 AMD Ryzen AI 硬件上运行 LLM 的详细性能洞察,为本地 AI 部署的优化策略提供信息。
排序理由 在特定硬件上对 LLM 进行详细的技术基准测试。[lever_c_demoted from research: ic=1 ai=1.0]
- AMD
- gfx1151
- GMKtec EVO-X2
- Linux
- llama.cpp
- Radeon 8060S
- ROCm
- Ryzen AI MAX+ 395
- Strix Halo
- unsloth/Muse-Glimmer-30B-GGUF
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →