Fireworks AI推出了更新的Batch API，与Serverless选项相比，成本降低了50%。这项异步处理服务允许用户排队任务，并选择12到72小时的完成时间。该API还具有自动提示缓存功能，以进一步提高节省，使用户能够提交任务并稍后检索结果。 AI
影响 为大规模、异步的AI推理任务提供了更具成本效益的选择。
排序理由 这是推理基础设施提供商的产品更新，而不是前沿模型发布。
在 X — Fireworks (inference infra) 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
Fireworks Batch API: 50% cheaper than serverless. We obviously love things fast, but sometimes async at scale is all you need. With the refreshed Batch API, you queue up a job and select whether you need it completed in 12/24/48/72 hours. Plus automatic prompt caching for even