llm-ports 库已发布版本 0.1.0-alpha.19，为 Anthropic、OpenAI 和 Gemini 等不同 LLM 提供商引入了统一的提示缓存接口。此新版本规范了开发人员如何与缓存机制进行交互，这些机制在不同提供商之间存在显著差异。此次更新还包含一项重大更改，将 `cost.cacheDiscountUSD` 重命名为 `cost.cacheSavingsUSD`，以更好地反映缓存命中带来的成本节省性质。 AI
影响 简化了处理多个 LLM 提供商的开发人员的提示缓存实现。
排序理由 软件库发布，为开发人员提供新功能。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →