Leo Minor

AWS SageMaker HyperPod 添加模型缓存以大幅缩短推理冷启动时间

Amazon SageMaker HyperPod 引入了一项模型缓存功能，旨在显著减少推理冷启动时间。此新功能将模型权重和容器镜像预加载到集群节点上，使 Pod 能够从本地 NVMe 存储高速访问数据，而不是依赖于较慢的网络下载。因此，推理 Pod 可以在几秒钟内开始提供流量，而不是之前所需的几十分钟，从而提高了自动扩展的响应速度。