作者详细介绍了使用 vLLM 和 Keda 在 Amazon EKS 上自动扩展自托管 LLM 平台 OzAI 的尝试。虽然使用 Terraform 和 Karpenter 准备了基础设施设置,但重点转移到了测试自动扩展逻辑本身。作者使用本地 Kubernetes 集群和 llama.cpp(而非 GPU)进行测试,发现了并修复了自动扩展设计中的一个错误,该设计旨在根据等待请求的数量而不是 CPU 或 GPU 利用率进行扩展。负载测试显示,初始设置(一个副本)可以高效地处理单个用户,但在更重的负载下,自动扩展机制成功地配置了额外的副本以管理队列。 AI
影响 为优化 LLM 服务基础设施和自动扩展策略以获得更好的性能和成本效益提供了见解。
排序理由 文章描述了 LLM 服务基础设施的技术实现和错误修复,而非新的模型发布或重大的行业事件。
- Amazon EKS
- AWS
- Docker
- graphics processing unit
- Keda
- llama.cpp
- MacBook Pro M1 Pro
- Nvidia
- OzAI
- Prometheus
- Qwen3_8B
- Terraform
- vLLM
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →