Kinference

Buoyant开源Kinference，优化Kubernetes上的LLM推理

Buoyant发布了Kinference，一个开源控制平面，旨在利用vLLM在Kubernetes集群上管理大型语言模型推理。该新工具引入了策略驱动的路由、令牌速率限制和感知KV缓存的负载均衡，以优化模型服务。基准测试表明，在首个令牌时间和吞吐量方面有了显著的改进，特别是在具有共享前缀的工作负载中，尽管对于没有共享缓存数据的提示，性能提升不太明显。