Amazon SageMaker Inference
PulseAugur coverage of Amazon SageMaker Inference — every cluster mentioning Amazon SageMaker Inference across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
AWS 详解 2026 年 SageMaker 推理更新,以提高效率和规模
AWS 详细介绍了 Amazon SageMaker 推理的一系列新功能和更新,重点关注提高 2026 年的模型部署和效率。这些更新解决了实际流量选择最佳配置、最大化 GPU 利用率以及管理超出单机容量的模型等挑战。关键增强功能包括新的路由策略、扩展的多区域网络以及与更广泛的 AWS AI 生态系统的深度集成,通过 SageMaker AI Studio 和 SageMaker Python SDK 等各种工具提供推理建议。
-
SageMaker 推理支持通过 NVIDIA MIG 进行 GPU 分区
Amazon SageMaker 推理现已支持 NVIDIA 多实例 GPU (MIG) 技术。此功能允许将单个物理 GPU 分割成多个独立的实例,每个实例都拥有专用的计算和内存资源。此前,即使是较小的模型,用户也必须分配整个 GPU,导致利用率不足或为未使用的容量付费。MIG 能够在一台实例上部署更多模型,提供硬件强制隔离以实现可预测的延迟和容错能力,并允许根据模型需求正确调整 GPU 分配大小。
-
LLM路由方法提高效率并降低延迟 · 已追踪2个来源
一篇新研究论文介绍了一种名为HeRo(History-Aware Routing)的动态路由框架,用于大型语言模型。该框架使用一种记忆机制来跨模型深度维护路由状态。这种方法将先前的路由分数聚合为紧凑的历史表示,在Llama 3.1-8B、Llama 2-7B和Llama 2-13B的基准测试中持续优于现有方法。与此同时,Amazon SageMaker Inference推出了前缀感知路由,这是一种将具有相似前缀的请求导向同一实例的策…
-
Hugging Face 和 Amazon SageMaker 集成,实现一键模型部署
Hugging Face 和 Amazon SageMaker 推出了一项新集成,允许用户一键将模型直接从 Hugging Face 迁移到 Amazon SageMaker Studio。此功能通过预先配置环境和权限,简化了发现、微调和部署模型的过程。该集成还提高了 GPU 配额可用性的可见性,减少了希望快速迭代 AI 模型的开发人员和企业的障碍。