Polca

新POLCA系统将LLM服务效率提升20% · 跟踪2个来源

研究人员开发了一种新的分布式LLM服务电源控制系统，可优化GPU能效。该系统名为POLCA，将预填充和解码阶段的电源管理解耦，这与应用单一设置的NVIDIA Max-Q配置文件不同。POLCA的基于模型的校准方法在每焦耳的令牌数和降低延迟方面取得了显著改进，在Qwen3-Coder-480B和Qwen3-235B-A22B等特定模型上超越了供应商配置文件。