Anthropic 为其 Claude Messages API 推出了一项 Beta 版功能,称为“消息线程”,旨在通过将对话历史保留在服务器上来优化长代理循环。此新功能意味着后续请求只需发送新消息,而无需发送整个对话历史。这种方法显著减小了请求大小并改善了首次令牌的时间,Anthropic 报告称,对于 50 万到 100 万令牌之间的请求,中位数下降了约 35%。虽然令牌使用量和定价保持不变,但此功能简化了构建复杂代理应用程序的开发人员的交互。 AI
影响 通过减小请求大小和改善大上下文窗口的响应时间,简化了长代理交互。
排序理由 这是对现有 API 的产品更新,而不是新模型发布或核心研究。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →