Retry-After
PulseAugur coverage of Retry-After — every cluster mentioning Retry-After across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
ppL CRM推出MCP，供AI代理访问通讯录
ppL CRM推出了一项名为MCP的新功能，允许AI代理访问和管理联系人信息。此集成使代理能够回忆起与特定个人的过往对话、笔记和提醒，从而提高其为互动做准备的能力。该系统支持OAuth以实现安全连接，并提供开发人员指南以进行自定义集成和错误处理，包括速率限制和权限管理。
-
Groq API用户被警告存在导致速率限制的错误重试逻辑
使用Groq API的开发人员遇到了速率限制问题，这通常是由于重试逻辑实现不当造成的。主要问题在于，许多应用程序在收到429错误后会盲目地睡眠固定时间，而不是查阅响应中提供的`Retry-After`标头。该标头指定了重试前应等待的确切时间，这对于遵守Groq的速率限制至关重要。此外，开发人员还应注意Groq的组织级别速率限制、潜在的输入/输出令牌限制（ITPM/OTPM）以及缓存令牌如何影响使用量计算。
-
重试逻辑中的正则表达式错误悄悄破坏了Hindsight的交易生成
一位开发者在其Hindsight重试逻辑中遇到了一个微妙的错误，该错误由一个正则表达式引起，该正则表达式未能正确解析Groq的速率限制错误消息。该正则表达式旨在提取秒为单位的重试时间，但错误地处理了指示以分钟和秒为单位的重试延迟的消息，导致了不足的退避时间。这导致重试机制耗尽了最大尝试次数而未能成功完成任务，并非由于实际的服务不可用，而是由于解析错误。
-
LLM 服务器内存核算：为最大输出预留，而非仅为提示
一篇技术博文解释了如何通过正确核算 KV 缓存使用量来防止 LLM 服务器因内存问题而崩溃。关键的见解是，内存预留应基于最大潜在输出令牌（提示 + max_tokens 上限），而不仅仅是当前提示的长度。这种方法可以防止当许多具有大生成上限的请求重叠时发生的间歇性内存不足错误。该博文还建议实现 Retry-After 标头，在请求因资源不足而被拒绝时，向客户端发出退避信号。
-
Node.js LLM 分类：通过主题嵌入、重新排序和分类文档 · 跟踪 2 个来源
两篇文章详细介绍了一种在 Node.js 应用程序中改进基于 LLM 的文档分类和主题标记的方法。该方法包括使用嵌入从业务分类法或策略文档中检索相关段落，然后根据这些段落与给定销售通话摘要的语义相似性对其进行重新排序。最后，语言模型分类器使用这一精炼的证据集来生成结构化的 JSON 输出，例如 CRM 操作或主题标签。该管道旨在通过将分类法定义与 LLM 提示和提供商特定的配置分开，来增强可移植性和可维护性。