HorizontalPodAutoscaler

AWS SageMaker HyperPod 通过模型缓存减少 LLM 推理冷启动

Amazon SageMaker HyperPod 引入了模型缓存功能，以显著减少推理冷启动时间。此新功能将模型权重和容器镜像预加载到集群节点上，使 Pod 能够从本地 NVMe 存储高速访问数据，而不是通过网络下载。以前，像 DeepSeek-R1 这样的大型模型可能需要 30 多分钟才能准备好进行推理，但通过模型缓存，Pod 通常可以在几秒钟内开始提供流量。