OpenAI为其API引入了提示缓存，为开发者提供了显著的成本和延迟降低。此功能可自动重用最近处理过的输入令牌，为超过1024个令牌的提示提供50%的折扣。提示缓存现已支持最新的GPT-4o模型和微调版本，缓存通常在不活动一小时内清除。此举旨在通过降低运营成本，帮助开发者更有效地扩展其AI应用程序。 AI
排序理由 这是对现有API的产品功能更新，并非新模型发布或重大平台转变。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
OpenAI API推出提示缓存以节省成本和延迟
报道来源 [1]
-
API中的提示缓存
Offering automatic discounts on inputs that the model has recently seen