Hugging Face 的一篇新论文详细介绍了对大学 GPU 集群进行监控后发现的显著利用不足的情况。研究发现,超过 70% 的作业使用了不到 20% 的 GPU 内存,而 50% 的作业平均 SM 利用率低于 5%,这表明在调度和多任务处理方面有很大的改进空间。这项为期 10 天、包含 7,399 个作业的研究表明,更好的资源管理可以在不升级硬件的情况下实现显著的收益。 AI
影响 通过更好的资源管理,突显了在人工智能计算基础设施中实现显著效率提升的潜力。
排序理由 详细介绍 GPU 集群监控结果的论文。
在 Hugging Face Daily Papers 阅读 →
- Anthropic
- Cisco
- DCGM
- graphics processing unit
- Hugging Face
- Marvell Technology
- Mellanox
- Microsoft
- Nvidia
- Plenty of Room in the Middle: Revealing Opportunities on a GPU Cluster via Fine-Grained Monitoring
- streaming multiprocessor
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →