PulseAugur
中
实时 20:42:58
English(EN) Amazon SageMaker AI now supports optimized generative AI inference recommendations

AWS SageMaker AI 通过新的推理建议和 G7e 实例简化生成式 AI 部署

作者 PulseAugur 编辑部 · [2 个来源] ·

Amazon SageMaker AI 推出了新功能，以简化生成式 AI 模型的部署。该平台现在提供优化的推理建议，利用 NVIDIA AIPerf 缩短了开发人员数周的手动基准测试过程。此外，AWS 推出了由 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 驱动的 G7e 实例，提供了更高的内存和网络吞吐量，从而实现更快、更具成本效益的大型语言模型推理。 AI

影响 通过自动化配置和提供增强的硬件，简化了生成式 AI 模型的部署，有可能缩短上市时间和降低基础设施成本。

排序理由 该集群描述了一个现有 AI 平台的新功能和硬件可用性，旨在改进用户的部署流程。

在 AWS Machine Learning Blog 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

AWS SageMaker AI 通过新的推理建议和 G7e 实例简化生成式 AI 部署

报道来源 [2]

  1. AWS Machine Learning Blog TIER_1 English(EN) · Mona Mona ·

    Amazon SageMaker AI now supports optimized generative AI inference recommendations

    Today, Amazon SageMaker AI  supports optimized generative AI inference recommendations. By delivering validated, optimal deployment configurations with performance metrics, Amazon SageMaker AI keeps your model developers focused on building accurate models, not managing infr…

  2. AWS Machine Learning Blog TIER_1 English(EN) · Hazim Qudah ·

    Accelerate Generative AI Inference on Amazon SageMaker AI with G7e Instances

    Today, we are thrilled to announce the availability of G7e instances powered by NVIDIA RTX PRO 6000 Blackwell Server Edition GPUs on Amazon SageMaker AI. You can provision nodes with 1, 2, 4, and 8 RTX PRO 6000 GPU instances, with each GPU providing 96 GB of GDDR7 memory. This la…

相关实体

相关话题