实体
Horizontal Pod Autoscaler
Horizontal Pod Autoscaler
PulseAugur coverage of Horizontal Pod Autoscaler — every cluster mentioning Horizontal Pod Autoscaler across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
Kubernetes AI 推理自动扩缩：基于队列深度进行扩缩
本文详细介绍了如何在 Kubernetes 上为 AI 推理服务实现水平 Pod 自动扩缩器 (HPA)，特别是解决了使用 CPU 利用率作为扩缩指标的局限性。文章解释说，即使在重负载下，GPU 密集型工作负载通常也显示出较低的 CPU 使用率，而高 GPU 利用率并不一定表明请求积压。推荐的方法是基于等待推理请求的数量进行扩缩，这是 vLLM 等工具公开的一个指标。该过程包括配置 Prometheus 来抓取此指标，使用适配器将其暴…
-
通过选择更好的信号修复 vLLM 自动扩缩容抖动问题
本文解决了 vLLM 自动扩缩容中出现的“抖动”问题，即 Pod 在运行和失败状态之间快速循环，导致成本和延迟增加。作者解释说，这个问题通常源于选择了不合适的自动扩缩容信号，而不是配置不正确。文章详细介绍了通过三个步骤来改进自动扩缩容，即从任意阈值转移到计算阈值，最终实现一个稳定的设计，该设计使用更健壮的信号来防止振荡。
-
新的自动扩缩器ADAPT使用测量的配置延迟来优化容器副本计数
研究人员开发了ADAPT，一种新颖的自校准自动扩缩器，专为容器编排系统设计。该系统使用在线EWMA估计器来动态跟踪和适应变化的冷启动持续时间，这对于主动式扩缩至关重要。通过将此测量的配置延迟输入模型预测控制器，ADAPT可以优化副本计数并旨在最大限度地减少SLA违规，在评估中表现优于现有方法。