Inference Endpoints
PulseAugur coverage of Inference Endpoints — every cluster mentioning Inference Endpoints across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
Meta发布开源多模态模型Muse Glimmer
Meta发布了Muse Glimmer，一个开源、多模态、代理化的大型语言模型。该新模型拥有300亿参数架构，结合了一个20亿参数的视觉编码器和一个280亿参数的文本解码器。Muse Glimmer专为本地部署设计，并包含混合注意力（hybrid attention）和门控分组查询注意力（gated grouped-query attention）等高级功能，可高效处理文本和视频输入。
-
Hugging Face 通过 HF Jobs 上的一条命令简化 LLM 部署
Hugging Face 推出了一项新功能，允许用户通过一条命令在其 HF Jobs 基础设施上部署 vLLM 服务器。这简化了为模型测试、评估或批量生成等任务设置私有、OpenAI 兼容端点的过程。该服务仅对作业积极运行的时间收费，并通过指定张量并行性来支持各种 GPU 类型和更大的模型。
-
AWS SageMaker 通过 CloudWatch 仪表板增强 AI 推理监控
Amazon SageMaker 通过在 Amazon CloudWatch 中集成详细指标和新的 Insights 仪表板，增强了对生成式 AI 推理端点的监控能力。此次升级通过提供超过 100 项新指标，使用户能够更有效地解决 GPU 内存压力或延迟峰值等问题。SageMaker Insights 仪表板跨性能、容量和可靠性提供车队、端点和推理组件级别的视图，简化了复杂多模型部署的可观察性。
-
Hugging Face 宣布其 AI 平台和服务的定价更新
Hugging Face 宣布对其定价结构进行更新，为其 Inference Endpoints 和 AutoTrain 服务引入了新的层级。此次调整旨在为不同规模的用户提供更大的灵活性和成本效益。这些更新即时生效，并反映了公司为支持 AI 社区所做的持续努力。