vCluster

Kubernetes LLM 服务：拥挤的领域与关键的差距已识别

在 Kubernetes 上部署大型语言模型的服务领域正在迅速发展，许多曾经开放的挑战现在已被资金雄厚的项目和标准所解决。KV 缓存感知路由、预填充/解码分离、分数 GPU 共享和基本 GPU 调度原语等领域正变得拥挤。然而，仍然存在显著的差距，特别是在将模型权重分发视为一等 Kubernetes 原语方面，这目前会导致漫长的冷启动时间。