Anthropic 已在其 Messages API 中推出了“消息线程”的公开测试版,该功能旨在降低长上下文交互的延迟。此新功能允许用户仅发送一次完整的对话历史记录,后续请求仅包含新消息和响应 ID。Anthropic 报告称,对于 50 万到 100 万个 token 的请求,首次 token 的中位数时间减少了约 35%,但 token 使用量和费率保持不变。该功能已默认在大多数 Claude Code 用户中启用,并在 Claude on AWS、Microsoft Foundry 和 Google Cloud 等平台上可用。 AI
影响 降低了长上下文 AI 应用的延迟,可能提高代理性能和用户体验。
排序理由 API 功能的产品更新,而非核心模型发布。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →