研究人员开发了“DumpsterCluster”系统，该系统利用退役 GPU 来运行 LLaMA-70B 等大型语言模型。这种方法显著降低了硬件成本，一个拥有 128 个 GPU 的集群成本为 22,000 美元，而新系统的成本为 600,000 美元。然而，DumpsterCluster 的经济和环境可行性在很大程度上取决于当地电力的成本和碳强度，因为较旧的 GPU 每 token 消耗的能量更多。 AI
影响 这项研究表明，部署大型语言模型（尤其是在能源成本较低的地区）的途径可能更经济实惠且更具可持续性。
排序理由 该集群描述了一篇详细介绍硬件再利用新方法的学术论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2608.14614v1 Announce Type: cross Abstract: As AI datacenters retire functional GPUs, vast quantities of still capable accelerators enter secondary markets. This paper investigates whether these retired GPUs can find a productive afterlife to form a DumpsterCluster that can…
Retired GPUs can form low-cost clusters for LLM inference, but their economic and environmental viability depends heavily on local electricity prices and carbon intensity.