研究人员推出 FairInference,一个旨在为多租户 LLM 服务提供强大延迟隔离的新颖系统。与专注于吞吐量公平性的现有解决方案不同,FairInference 保证了一个行为良好的客户端的 token 生成时间不会超过其隔离的生成时间超过指定的 delta ($\delta$)。这是通过强制执行每个 token 的截止日期以及管理来自共享 GPU 资源和 KV 缓存的延迟来实现的。该系统旨在防止一个客户端的高需求工作负载降低其他客户端的性能,同时提高整体吞吐量。 AI
影响 这项研究可能为共享 LLM 服务的用户带来更可靠、可预测的性能,改善用户体验,并可能支持依赖严格延迟保证的新应用。
排序理由 该集群描述了 arXiv 论文中提出的一种用于提高 LLM 服务性能的新颖系统。
在 Hugging Face Daily Papers 阅读 →
- alphaXiv
- arXiv
- DagsHub
- FairInference
- graphics processing unit
- Hugging Face
- KV caching
- LLM
- LLM serving
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →