DumpsterCluster

退役 GPU 构成低成本 LLM 集群，但能源成本是关键

研究人员开发了“DumpsterCluster”系统，该系统利用退役 GPU 来运行 LLaMA-70B 等大型语言模型。这种方法显著降低了硬件成本，一个拥有 128 个 GPU 的集群成本为 22,000 美元，而新系统的成本为 600,000 美元。然而，DumpsterCluster 的经济和环境可行性在很大程度上取决于当地电力的成本和碳强度，因为较旧的 GPU 每 token 消耗的能量更多。