一篇新的研究论文对在大型语言模型（LLM）服务中对GPU进行功率上限设置的有效性提出了质疑，尤其是在自回归解码阶段。研究发现，功率上限对解码能耗影响甚微，因为GPU经常处于空闲状态，等待高带宽内存（HBM）。研究人员建议，锁定SM时钟是减少功耗的更有效方法，同时不会显著降低吞吐量。该论文还指出，与传统的注意力机制相比，Mamba2等循环架构可以在预填充和解码阶段提供节能效果。 AI
影响 提出了优化LLM服务能耗的替代方法，可能影响基础设施成本和效率。
排序理由 该集群包含一篇详细介绍LLM基础设施和能效新发现的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
