双 GPU llama.cpp 测试揭示张量并行与流水线并行之间的 PCIe 传输差异

一位 Reddit 用户在双 GPU 设置下使用 llama.cpp 进行了测试，以测量不同并行策略下的 PCIe 传输速度。测试比较了张量并行和流水线并行配置，结果显示张量并行提供了更高的解码速度（47 t/s 对 30 t/s），而流水线并行实现了更快的预填充速度（1250 t/s 对 650 t/s）。用户得出结论，PCIe 延长线对于张量并行设置可能不是一个显著的瓶颈，并建议它们可能是未来硬件扩展的可行选择。 AI

影响 为在本地运行大型语言模型提供了硬件配置方面的见解，可能指导用户优化性能和硬件购买。

排序理由 用户进行的基准测试和对特定软件硬件性能的分析。[lever_c_demoted from research: ic=1 ai=0.7]

在 r/LocalLLaMA 阅读 →

• graphics processing unit
• llama.cpp
• PCI Express
• Qwen3.6-27B-UD-Q4_K_XL.gguf
• RTX 3090
• Titan RTX

• 基础设施
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →