一位 Reddit 用户分享了性能基准测试,将六个 AMD MI50 GPU 与六个 NVIDIA P40 GPU 在运行 MiniMax M2.7 REAP 139B 模型时的性能进行了比较。MI50 设置拥有 96GB 显存,并使用了 llama-server 的特定启动参数进行测试。结果表明,在某些测试中 P40 GPU 的速度明显更快,在 pp512 测试中性能是 MI50 的 2.37 倍。 AI
影响 为在本地运行大型语言模型提供硬件性能的实用见解。
排序理由 用户生成的基准测试,比较运行特定 LLM 的硬件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →