实体
Amazon FSx for Lustre
Amazon FSx for Lustre
PulseAugur coverage of Amazon FSx for Lustre — every cluster mentioning Amazon FSx for Lustre across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
AWS SageMaker HyperPod 添加模型缓存以大幅缩短推理冷启动时间
Amazon SageMaker HyperPod 引入了一项模型缓存功能，旨在显著减少推理冷启动时间。此新功能将模型权重和容器镜像预加载到集群节点上，使 Pod 能够从本地 NVMe 存储高速访问数据，而不是依赖于较慢的网络下载。因此，推理 Pod 可以在几秒钟内开始提供流量，而不是之前所需的几十分钟，从而提高了自动扩展的响应速度。
-
AWS 使用 GPUDirect Storage 和 FSx 缩短 LLM 加载时间
AWS 推出了一种新方法，可以显著加快大型语言模型加载到 GPU 实例的速度。通过将 NVIDIA GPUDirect Storage (GDS) 与 Amazon FSx for Lustre 结合使用，模型权重可以直接加载到 GPU 内存中，绕过 CPU 和 PCIe 总线。此优化将模型加载时间从几分钟缩短到几秒钟，从而减少了首次令牌（TTFT）的总时间，并使昂贵的 GPU 资源能够更快地用于推理。