研究人员引入了Token-能量定律,这是一个量化大型语言模型(LLM)在解码过程中能耗的模型。该定律将每Token的能耗与“活跃字节”(逻辑字节需求)和“已实现解码时间”(每Token的经过时间)联系起来。该模型旨在提供一个可解释的框架,以理解模型架构、硬件和服务配置等因素如何影响能效。使用该定律在NVIDIA Hopper和Blackwell GPU上进行的实验证明了预测能耗的高准确性。 AI
影响 为优化LLM部署以提高能效提供了框架,可能降低运营成本和环境影响。
排序理由 学术论文,引入了LLM能效的新理论框架。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- graphics processing unit
- Hugging Face
- large language models
- NVIDIA Blackwell
- NVIDIA Hopper
- Token-Energy Law
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →