Hanfei Yu

MoEless 框架通过降低延迟和成本来提高 LLM 服务效率

研究人员开发了 MoEless，一个旨在提高服务专家混合（MoE）大语言模型（LLM）效率的新颖框架。MoE 架构通常存在专家之间的负载不平衡问题，导致延迟和成本增加。MoEless 通过使用弹性专家执行和轻量级预测器来识别和管理滞后专家，优化函数局部性和 GPU 利用率来解决这个问题。实验表明，与现有解决方案相比，MoEless 可以显著降低推理延迟和成本。