PulseAugur
中
实时 06:57:13
实体 Amazon SageMaker Inference

Amazon SageMaker Inference

PulseAugur coverage of Amazon SageMaker Inference — every cluster mentioning Amazon SageMaker Inference across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 2 条
  1. RESEARCH · CL_244878 ·

    LLM路由方法提高效率并降低延迟 · 已追踪2个来源

    一篇新研究论文介绍了一种名为HeRo（History-Aware Routing）的动态路由框架，用于大型语言模型。该框架使用一种记忆机制来跨模型深度维护路由状态。这种方法将先前的路由分数聚合为紧凑的历史表示，在Llama 3.1-8B、Llama 2-7B和Llama 2-13B的基准测试中持续优于现有方法。与此同时，Amazon SageMaker Inference推出了前缀感知路由，这是一种将具有相似前缀的请求导向同一实例的策…
  2. TOOL · CL_128044 ·

    Hugging Face 和 Amazon SageMaker 集成，实现一键模型部署

    Hugging Face 和 Amazon SageMaker 推出了一项新集成，允许用户一键将模型直接从 Hugging Face 迁移到 Amazon SageMaker Studio。此功能通过预先配置环境和权限，简化了发现、微调和部署模型的过程。该集成还提高了 GPU 配额可用性的可见性，减少了希望快速迭代 AI 模型的开发人员和企业的障碍。