Modal 推出了 Modal Auto Endpoints,一项旨在提供用户可以完全拥有和控制的优化 LLM 推理的新服务。该产品旨在让团队在无需管理底层基础设施的复杂性的情况下,获得自托管推理的好处,例如对服务堆栈的控制和对详细指标的访问。该服务与 OpenAI API 兼容,并支持 GLM-5.2 等开放模型,可以通过简单命令进行部署。 AI
影响 为开发人员提供了一个自助选项,让他们能够拥有和优化 LLM 推理,从而减少对专有提供商的依赖。
排序理由 AI 基础设施公司发布产品。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →