FairInference

FairInference 系统为 LLM 服务提供严格的延迟隔离

研究人员推出了一种名为 FairInference 的新颖系统，旨在为多租户 LLM 服务提供强大的延迟隔离。与以往侧重于长期吞吐量公平性的解决方案不同，FairInference 保证了一个行为良好的客户端的 token 生成时间不会超过其隔离生成时间的指定增量（$\delta$）。这是通过强制执行每个 token 的截止日期并管理来自共享 GPU 资源和 KV 缓存的延迟来实现的，最终在限制延迟峰值的同时提高整体吞吐量。