PulseAugur
中
实时 13:26:49
English(EN) From Tokens to Watt-hours: Analytical Energy Estimation for LLM Inference on Modern GPUs

新方法无需直接测量即可估算 GPU 上 LLM 推理的能耗

作者 PulseAugur 编辑部 · [2 个来源] ·

arXiv 上的一篇新研究论文提出了一种分析方法，用于估算在 NVIDIA H100 等 GPU 上运行的大型语言模型 (LLM) 推理的能耗。该方法旨在提供一种无需直接硬件遥测即可近似估算能源使用量的方法，这对于比较研究和系统设计非常有用。该方法将能耗分解为计算、内存访问和注意力机制等组成部分，并区分了提示预填充和自回归解码阶段。 AI

影响 为分析和优化 LLM 部署的能源效率提供了一个框架。

排序理由 在 arXiv 上发表的研究论文，详细介绍了一种估算 LLM 推理能耗的新方法。

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新方法无需直接测量即可估算 GPU 上 LLM 推理的能耗

报道来源 [2]

  1. arXiv cs.LG TIER_1 English(EN) · Tina Vartziotis, Rodopi Kosteli, Elli Vartziotis, George Dasoulas, Michael Keckeisen, Konstantinos Skianis, Sotirios Kotsopoulos, Francesca Dominici ·

    从Token到瓦时：现代GPU上LLM推理的分析性能耗估算

    arXiv:2607.26571v1 Announce Type: new Abstract: The operational energy consumption of large language model (LLM) inference is becoming an increasingly important component of the environmental footprint of deployed AI systems. However, direct measurement of inference energy often …

  2. r/MachineLearning TIER_1 English(EN) · /u/chinmaydagod ·

    理解 GPU 推理工作负载 [D]

    <!-- SC_OFF --><div class="md"><p>Hey everyone,</p> <p>I have been looking into how people source compute for their Inference workloads (and in general). I wanted to understand some specific pain points here.</p> <p>If you've used online services like runpod or <a href="http://va…

相关实体

相关话题