一项新的研究论文介绍了“作业功率弹性”的概念,用于表征LLM训练性能如何受到GPU功率降低的影响。该研究提出了“功率弹性指数”(PFI)来量化这种敏感性,并展示了其在功率约束下优化总tokens/秒吞吐量的效用。研究结果表明,LLM训练作业表现出显著但可变的功率弹性,与等权重分配相比,PFI感知分配能够恢复可观的性能。 AI
影响 引入了一个优化AI训练功耗的框架,可能有助于更有效地整合电网和基础设施增长。
排序理由 学术论文,引入了AI训练基础设施的新指标和表征。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →