实体
Llumnix
Llumnix
PulseAugur coverage of Llumnix — every cluster mentioning Llumnix across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
LLM服务调度器扩展以支持多层SLA
研究人员扩展了Llumnix LLM服务调度器，使其支持两个以上的优先级层，从而能够更好地管理异构的服务等级目标（SLO）。通过Vidur模拟器对增强型调度器进行了评估，结果表明在多个优先级层面上，成本效益和延迟降低方面都有显著提高。实验表明，四个优先级层提供了最佳的权衡，与INFaaS、vLLM、Orca和Sarathi-Serve等基线系统相比，实现了显著的加速和每延迟成本的改进。
-
Astrolabe系统通过随机预测引导调度优化大语言模型服务
研究人员开发了Astrolabe，一个旨在优化大语言模型（LLM）服务的新型调度系统。该系统采用随机预测引导的方法，在无需昂贵的基于迁移的重新平衡的情况下，平衡多个LLM实例之间的负载。Astrolabe结合了响应长度估计、延迟预测和power-of-two-choices调度策略，以增强负载平衡并降低延迟。实验表明，Astrolabe可以匹配或超越现有基线的性能，显著降低平均和P99的首个token时间和端到端延迟，同时还减少了预测…