研究人员开发了EnergyLens，一个旨在优化大型语言模型（LLM）在多GPU系统上推理过程中的能耗的框架。该工具解决了预测和减少LLM能耗的挑战，这对于可持续性和数据中心的高效运营至关重要。EnergyLens利用一个基于einsum的接口和一个经验驱动的通信能耗模型来捕捉复杂的LLM规范和多GPU行为，实现了低预测误差，并揭示了不同配置之间显著的能耗差异。 AI
影响 为优化LLM能效提供了工具，这对于可持续的数据中心运营和降低成本至关重要。
排序理由 该集群包含一篇详细介绍LLM推理优化新框架的研究论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
We present EnergyLens, an end-to-end framework for energy-aware large language model (LLM) inference optimization. As LLMs scale, predicting and reducing their energy footprint has become critical for sustainability and datacenter operations, yet existing approaches either requir…
<div class="medium-feed-item"><p class="medium-feed-image"><a href="https://medium.com/@sharatonline/the-gpu-inference-stack-tensorrt-vllm-triton-and-onnx-runtime-compared-54259e4a8dd5?source=rss------mlops-5"><img src="https://cdn-images-1.medium.com/max/2592/1*2aU02sGZ_erqQIMIw…