AMD EPYC 7702

用户探讨在多节点CPU集群上运行大型GLM5.2模型

一位用户正在咨询关于在由四台Dell C6525服务器组成的集群上运行大型语言模型（特别是GLM5.2）的可行性。每台服务器配备双AMD EPYC 7702处理器、512GB内存和快速SSD存储，总计2TB内存，并在四个节点上提供显著的内存带宽。用户正在探索集群化这些系统的选项，以提高token速度或加载更大模型（如GLM5.2的Unsloth 4位或8位版本），用于代理编码任务。