Anthropic 已为其 Messages API 推出了“Message Threads”(消息线程)公测版,旨在降低长对话的延迟。该功能在发送完初始完整对话后,仅传输新消息和前一个响应 ID,将 50 万至 100 万 token 上下文的首次 token 中位数时间缩短了约 35%。虽然 token 使用量和成本保持不变,但该功能旨在提高长时运行 AI 代理的性能,并且 Claude Code 用户已默认启用。 AI
影响 降低长上下文 AI 代理的延迟,可能改善用户体验并支持更复杂的对话应用。
排序理由 API 产品功能发布。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →