Multi-Instance GPU

SageMaker Inference 增加 NVIDIA MIG 以提高 GPU 利用率

Amazon SageMaker Inference 现在支持 NVIDIA 多实例 GPU (MIG) 技术，允许将物理 GPU 分割成更小的独立分区。这使用户能够在单个实例上部署多个模型，每个模型都有自己的专用计算和内存资源，从而最大限度地提高 GPU 利用率并降低成本。以前，用户不得不在 GPU 利用率不足或由于共享实例上的资源争用而导致性能下降之间进行选择，通常需要复杂的自管理 Kubernetes 解决方案来实现类似功能。