Together AI 已显著升级其批量推理 API，引入了更用户友好的界面，并将模型兼容性扩展到包括所有无服务器和私有部署模型。此次更新将速率限制大幅提高了 3000 倍，从每位用户每个模型的 1000 万个排队令牌增加到 300 亿个，从而能够进行更大规模的数据处理。这些增强措施旨在使高吞吐量的工作负载更具成本效益和可访问性，对于大多数无服务器模型，成本通常是其实时 API 的 50%。 AI
影响 为合成数据生成和模型评估等大型 AI 工作负载提供更具成本效益和可扩展性的处理能力。
排序理由 现有 API 服务的相关产品更新。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
