Inception Labs

Together AI 将批量推理 API 的速率限制提高了 3000 倍

Together AI 已显著升级其批量推理 API，引入了更用户友好的界面，并将模型兼容性扩展到包括所有无服务器和私有部署模型。此次更新将速率限制大幅提高了 3000 倍，从每位用户每个模型的 1000 万个排队令牌增加到 300 亿个，从而能够进行更大规模的数据处理。这些增强措施旨在使高吞吐量的工作负载更具成本效益和可访问性，对于大多数无服务器模型，成本通常是其实时 API 的 50%。