Anthropic 为其 Claude API 推出了消息线程功能，旨在降低长上下文对话的延迟。虽然 Anthropic 声称对于 50 万到 100 万个 token 的请求，首个 token 的中位数时间最多可减少 35%，但这并不意味着成本节省，因为模型在每个回合仍然会处理整个对话。一个关键限制是这些线程有五分钟的空闲超时时间，之后整个对话必须重新上传，这对工具调用缓慢或处理时间长的应用程序构成了挑战。此功能与 OpenAI 的 Responses API 不同，后者提供更长的保留期和可选的存储。 AI
影响 此功能提高了长上下文 AI 交互的延迟，但引入了严格的时间限制，可能会阻碍某些应用程序。
排序理由 现有模型的产品功能发布。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
