Batch API
PulseAugur coverage of Batch API — every cluster mentioning Batch API across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Anthropic 将 Claude Fable 5 转向按量计费，以应对定价变化
Anthropic 正在将其最先进的模型 Claude Fable 5 从订阅计划转变为按令牌计费，按量使用将于 2026 年 7 月 20 日开始。该模型的定价为每百万输入令牌 10 美元，每百万输出令牌 50 美元，是 Claude Opus 4.8 的两倍。虽然 Anthropic 表示此举是由于容量限制和新的、更严格的安全分类器而暂时性的，但确切的未来定价仍不确定。
-
LLM API通过Batch端点为非实时任务提供50%折扣
开发人员可以通过使用Batch API显著降低大型语言模型API的成本，该API为OpenAI和Anthropic等提供商的强大模型提供50%的折扣。这个异步端点非常适合非交互式任务，例如内容摘要、嵌入生成和批量评估，尽管它有24小时的服务级别协议。实现Batch API需要将请求捆绑到JSONL文件中并轮询完成情况，这个过程比实时请求更复杂，但并非过于复杂。
-
AI成本节约：非紧急工作负载的批量API
通过为非紧急任务实施批量API，初创公司可以将AI运营成本降低约50%。这包括识别不需要即时结果的任务，如数据分析或报告生成，并在非高峰时段通过队列系统进行处理。虽然这种方法可以优化服务器使用并降低费用，但需要仔细管理，以确保紧急任务仍能优先获得实时处理，从而保持积极的用户体验。
-
ZeroGPU推出批量API，实现经济高效的文本分类
ZeroGPU推出了一款新的批量API，旨在以远低于传统同步API调用的成本，高效地标记大量非结构化文本数据，如客户评论。该服务使用一种名为LFM2.5-1.2B-Instruct的专门的、更小的模型，该模型针对情感分析和主题分类等任务进行了优化，避免了为重复性工作使用更大、更复杂的尖端模型的昂贵成本。一个新的操作指南演示了如何使用批量API彻夜处理CSV文件，并具备智能错误处理和将结果无缝合并回现有数据库的功能。
-
llmfleet 库优化 LLM API 调用，节省成本
llmfleet 库引入了一种优化大型语言模型 API 调用（尤其是 Anthropic 的批量 API）的新颖方法。它通过将多个代理请求汇集到单个批次中，解决了当前 API 设计的局限性，有可能节省 50% 的输入 token 成本。该库的分派器会根据指定的延迟预算智能地路由请求，从而实现快速同步响应和较慢的批量处理，而无需调用者管理复杂性。