一位Reddit用户分享了一种方法，通过启用PCI Express点对点（P2P）通信，显著提高了多GPU消费级硬件上大型语言模型的性能。通过使用补丁后的NVIDIA驱动程序和VLLM中的特定环境变量启用P2P，该用户观察到Qwen/Qwen3.6-27B-FP8模型的处理速度大约提高了25%。这种优化对于在具有高RAM带宽的系统上运行多个GPU的用户尤其有益。 AI
影响 在多GPU消费级硬件上实现更快的本地LLM推理。
排序理由 用户分享的用于优化现有硬件以运行LLM的技术技巧。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>Disclaimer - no LLM was used to write this post/note</p> <p>As larger post about my setup will come later, want to give heads-up to folks who use VLLM and >= 2 GPUs.</p> <p>So I have pretty meaty server (8 channel AMD EPYC, ~150GB/s RAM bw) an…