Reddit 的 r/LocalLLaMA 子版块上一位用户分享了对两种 MI50 GPU 配置的性能基准测试。第一种设置使用了六个直接通过 PCIe 连接的 MI50,而第二种设置使用了一张 PEX8749 卡来管理四个 MI50,从而为另外两张卡腾出了 PCIe 插槽。在各种测试中,PEX8749 配置在 'pp' 速度上略有下降(不到 1%),但在 'tg' 速度上略有提升(高达 2.8%)。总的来说,两种设置之间的性能差异很小,大多数测试显示变化不到 1%。 AI
影响 为本地 LLM 推理的硬件配置权衡提供了见解,可能指导用户优化 GPU 设置。
排序理由 用户生成的基准测试,对比用于 AI 推理的硬件配置。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →