INFaaS

LLM服务调度器扩展以支持多层SLA

研究人员扩展了Llumnix LLM服务调度器，使其支持两个以上的优先级层，从而能够更好地管理异构的服务等级目标（SLO）。通过Vidur模拟器对增强型调度器进行了评估，结果表明在多个优先级层面上，成本效益和延迟降低方面都有显著提高。实验表明，四个优先级层提供了最佳的权衡，与INFaaS、vLLM、Orca和Sarathi-Serve等基线系统相比，实现了显著的加速和每延迟成本的改进。