实体 QoS

QoS

PulseAugur coverage of QoS — every cluster mentioning QoS across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_62066 · May 31 · 23:35

DriftSched 通过自适应调度提高 LLM 推理效率

研究人员开发了 DriftSched，一个旨在提高大型语言模型多租户 GPU 推理效率的框架。该系统通过使用自适应偏差校正将估计误差减少 40% 以上，解决了运行时令牌漂移（实际输出长度偏离初始估计）的挑战。实验表明，最短作业优先 (SJF) 调度策略与 DriftSched 结合使用可显著降低延迟，中位数端到端延迟下降约 42%。该框架还包括一个用于运行时反馈驱动漂移补偿的机制，以及一个用于评估共享 GPU 基础设施上 QoS 感知…