Qwen 3.6-27B-autoround-int4

用户为 Qwen LLM 双 GPU 配置实现近乎线性扩展

Reddit r/LocalLLaMA 论坛上一位用户报告称，通过为他们的设置增加第二块 GPU，实现了近乎线性的性能扩展。在使用 Qwen 3.6-27B-autoround-int4 模型时，将 GPU 从一块增加到两块，在叙事和代码任务的解码吞吐量方面都有显著提升。即使没有 NVLink，利用张量并行和 P2P 通信也观察到了这种改进。