Polca

新的POLCA系统优化LLM服务的能效和延迟

研究人员开发了一种名为POLCA的新型功率控制系统，用于分离式LLM服务，旨在优化能效和延迟。与英伟达的Max-Q等现有方法不同，后者只能带来适度的收益并可能增加延迟，POLCA采用了一种相位解耦和模型校准的方法。该系统允许预填充和解码通道以独立的功率设置运行，从而在每焦耳的令牌数方面取得显著改进，并减少端到端延迟，尤其对于专家混合（MoE）模型而言。