Keda

Kubernetes 算子实现 LLM 服务的缩减至零

新的 Kubernetes 算子正在涌现，以解决运行大型语言模型的成本问题，特别是闲置 GPU 烧钱的问题。Hearth 是一个处于 alpha 阶段的算子，允许用户声明式地服务开源 LLM，并在不使用时将其缩减至零，在冷启动期间缓冲请求。另一种方法是构建一个使用 NVML 的 KEDA 外部扩展器，以实现基于实际 GPU 利用率的自动扩展，从而减少对 Prometheus 等完整指标堆栈的需求。