Hugging Face 重新设计 Inference API，将 serverless 转移至第三方 GPU

Hugging Face 更新了其 Inference API，将其 serverless 产品整合到一个更广泛的“推理提供商”层中。此次变更意味着 serverless 推理现在主要将请求路由到第三方 GPU 提供商，而不是 Hugging Face 自有的基础设施，后者主要专注于为较小或遗留模型提供基于 CPU 的任务。定价模式已从请求限制转变为积分系统，提供免费和付费套餐，包含每月积分，之后将按使用量付费。此次转变将 serverless 定位为模型探索和评估的解决方案，而不是具有低延迟保证的生产就绪服务。 AI

影响 Hugging Face Inference API 的变更影响了开发人员部署和管理模型的方式，影响了生产应用程序的成本和延迟考量。

排序理由 文章讨论了现有 API 和基础设施产品的变更，重点是定价和部署模型，而不是新的模型发布或研究突破。

在 dev.to — LLM tag 阅读 →

• Bert
• Cerebras
• GPT-2
• Groq
• hf-inference
• Hugging Face
• Inference API
• Novita
• Together

• 基础设施
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →