用户测试 CMP170HX GPU 以进行本地 LLM 部署

一位用户测试了四张 CMP170HX 显卡，每张显卡配置了 64GB 内存，总计 256GB VRAM。测试重点是运行各种大型语言模型，结果表明较小的模型可以完全装入单张卡，或者如果它们的总 VRAM 使用量保持在 64GB 限额内，则可以同时运行。其性能与 NVIDIA 的 30xx 系列相当，如果使用内存更大的显卡，则有可能实现更高的吞吐量。用户还指出，即使在加载大型模型时，PCIe Gen2 x4 接口也没有显著限制性能，这表明在单台 PC 中扩展到 16 张显卡的潜力。 AI

影响 为使用旧的或重新利用的硬件在本地运行大型语言模型的可能性提供了见解。

排序理由 用户对用于 LLM 部署的消费级硬件进行基准测试。

在 r/LocalLLaMA 阅读 →

• CMP170HX
• gemma-4-31B
• GLM-4.5-Air
• gpt-oss-120B
• gpt-oss-20B
• Laguna-S 2.1
• llama.cpp
• Qwen
• Qwen3.6-27B
• Qwen3.6-35B-A3B

• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →