PulseAugur
中
实时 16:19:23
实体 FairInference

FairInference

PulseAugur coverage of FairInference — every cluster mentioning FairInference across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_259406 ·

    FairInference 系统为多租户 LLM 服务提供新颖的延迟隔离

    研究人员推出 FairInference,一个旨在为多租户 LLM 服务提供强大延迟隔离的新颖系统。与专注于吞吐量公平性的现有解决方案不同,FairInference 保证了一个行为良好的客户端的 token 生成时间不会超过其隔离的生成时间超过指定的 delta ($\delta$)。这是通过强制执行每个 token 的截止日期以及管理来自共享 GPU 资源和 KV 缓存的延迟来实现的。该系统旨在防止一个客户端的高需求工作负载降低其…