一位 Reddit 用户分享了双 Radeon MI50 设置的基准测试，每个 GPU 配备 16GB HBM2 VRAM。该用户测试了 Huggingface 的各种密集模型和专家混合（MoE）模型，目标是保持在 32GB 总 VRAM 限制内。基准测试在 Ubuntu 上使用 Vulkan 和 llama.cpp 运行，结果显示不同模型和量化级别的性能各异，其中一些 MoE 模型显示出显著更高的吞吐量。 AI
影响 提供了在特定 AMD GPU 硬件上运行 LLM 的性能数据，告知用户潜在吞吐量。
排序理由 用户生成的特定硬件和软件配置的基准测试。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
