AMD Epyc 9xx5

AMD Epyc 与 DGX Sparks 在大模型集群上的对比：成本与性能的权衡

Reddit 上的一篇讨论比较了使用 NVIDIA DGX Sparks 构建本地大语言模型（LLM）集群与使用 AMD Epyc 处理器构建系统的成本效益。用户质疑选择 DGX Sparks 的逻辑，认为配备更多内存和可能更少但更强大 GPU 的 AMD Epyc 服务器可能以相同的成本提供更好的性能和带宽。比较突出了理论带宽差异，Epyc 系统显示出更高的潜在吞吐量。