Batches API

开发者可通过提示词缓存和模型路由来降低LLM成本

开发者可以通过实施提示词缓存和模型路由策略，显著降低大型语言模型（LLM）的成本。提示词缓存允许重用先前处理过的稳定请求前缀，例如系统提示词或工具定义，从而降低输入令牌成本。Anthropic Claude API，特别是像Opus 4.8这样的模型，支持此功能，并设有定义的生存时间（TTL）设置，缓存读取的成本仅为基础输入价格的一小部分。此外，使用更便宜的模型进行初始请求分类，并将复杂查询升级到更昂贵的模型（如Opus）可以进一步优化支出。