L3.1 Nemotron Sunfall 71B IQ3_XS

PCIe 3.0 x1 带宽足以满足 LLM 推理中的张量拆分

r/LocalLLaMA 上的一位用户分享了关于运行大型语言模型的性能的惊人结果，该设置使用了双 GPU，其中一个 GPU 通过 PCIe 3.0 x1 插槽连接。与人们预期的这种有限带宽会造成严重瓶颈相反，该用户发现张量拆分（一种将模型层分布到 GPU 的方法）与层拆分相比，性能提升了 40% 以上。在另一台配备不同模型的租用机器上进行的进一步测试也显示，张量拆分带来了显著的速度提升，PCIe 带宽测量表明 x1 连接在推理过程中并…