Jiahuan Yu

VoltanaLLM 系统将 LLM 推理能耗降低 36%，同时满足 SLO

一个名为 VoltanaLLM 的新系统已被开发出来，以解决大型语言模型 (LLM) 推理的巨大能耗问题。该系统在最近的一篇 arXiv 论文中进行了详细介绍，采用了自适应频率控制和状态空间路由来降低 LLM 服务预填充和解码阶段的能耗。通过识别 GPU 频率的最佳工作点并智能路由请求，VoltanaLLM 可以在不影响延迟服务水平目标 (SLO) 的情况下实现显著的节能。