httpx
PulseAugur coverage of httpx — every cluster mentioning httpx across labs, papers, and developer communities, ranked by signal.
11 天有情绪数据
-
在代码中强制执行免费LLM Token预算，而非纪律
开发者应将免费LLM Token额度视为严格预算，并在代码中强制执行，而不是依赖纪律。一个常见的陷阱是后台作业在未通知的情况下消耗Token，尤其是在重试期间。作者提出了一种代理，在Token使用前进行预留，类似于库存管理，以防止超支。这种方法确保应用程序可以在免费套餐的最严格限制内运行，防止即使在付费套餐中也会持续存在的问题。
-
开发者通过管理 HTTP 客户端的 keep-alive 来修复 LLM 连接错误
一位开发者在使用免费 LLM 端点时遇到了间歇性的连接错误，请求会挂起整整三十秒然后失败。通过详细的日志记录，他们发现问题源于他们的 HTTP 客户端重用了网关因不活动而关闭的 keep-alive 连接。通过在网关的空闲超时时间内进行后续请求，可以重现此问题。解决方案是配置 HTTP 客户端在网关之前主动回收连接，从而防止使用过时的连接。
-
Anthropic Python SDK 1.0 因升级到 httpx2 而破坏 HTTP 模拟
Anthropic 的 Python SDK 1.0 版本于 2026 年 8 月 20 日发布，引入了多项重大变更，包括升级到 httpx2 和最低 Python 版本要求 3.10。主要修改包括从消息创建方法中移除 temperature、top_p 和 top_k 参数，弃用旧的 Text Completions API，以及更改原始响应的处理方式。由于 SDK 现在使用 httpx2（httpx 的一个分支），而许多现有的 H…
-
免费LLM服务器在16个并行请求的并发负载下崩溃
一项性能测试显示，一个名为MonkeyCode的免费模型服务器在16个并行请求的并发负载下崩溃了。该测试使用Python的asyncio和httpx进行，测量了从1到32的并发级别下的成功率、延迟和吞吐量等各种指标。实验旨在揭示单请求测试可能忽略的争用问题，服务器在超过16个并发调用后性能显著下降。
-
使用 Python 和 MonkeyCode 构建持久化的 LLM 决策日志
本教程演示了如何使用 Python、FastAPI 和 MonkeyCode 的免费模型访问来构建一个决策日志系统。该系统旨在记录模型的原始响应以及基于这些响应所采取的操作，确保即使在服务器重启后数据也能持久化。它包括用于做出决策、检索过往决策和检查系统运行状况的端点，记录存储在 JSON Lines 文件中，以实现可审计性和避免昂贵的模型重放。
-
开发者将LLM API空响应错误隔离到陈旧的TCP连接
一位开发者遇到了LLM API持续返回空响应的问题，最初怀疑是模型本身的问题。经过广泛的故障排除，根本原因被确定为陈旧的TCP连接、终止空闲连接的VPN代理以及掩盖错误的过于宽泛的异常处理程序的组合。通过为每个请求实现新的HTTP连接并改进异常处理以专门捕获和报告与连接相关的失败来解决此问题。
-
LLM服务器方差探测揭示单次运行测试的不可靠性 · 跟踪2个来源
两篇文章探讨了免费LLM服务器性能的方差，认为单次运行会提供误导性结果。第一篇文章介绍了一个Python脚本，该脚本每小时发送20个请求，在24小时内测量延迟和错误率，并强调了不一致的性能如何可能破坏管道。第二篇文章提出运行50个顺序请求，每次暂停一秒，以分析延迟、输出和错误率的方差，并强调一致的测量对于理解端点可靠性至关重要。
-
开发者在免费服务器上审计 LLM 可重复性，以区分模型与服务器问题
一位开发者创建了一个 Python 脚本，用于审计来自免费服务器的 LLM 输出的可重复性，以应对区分模型性能与服务器可变性这一挑战。该审计通过固定提示和温度运行 50 次，测量六个信号，包括精确匹配率、与模型输出的相似度、首个 token 的时间、总延迟、错误率和截断率。这种方法对于输出一致性至关重要的应用至关重要，例如自动化测试或文档生成，因为免费服务器通常缺乏付费端点的服务水平协议。
-
Simon Willison 更新 `llm` 工具，新增功能并修复依赖项
Simon Willison 发布了其 `llm` 工具的更新，0.33 版本引入了新功能，而 0.32.1 版本解决了依赖项问题。最新版本允许组合多个提示模板，并增强了嵌入模型 API 密钥的处理。它还为模拟 OpenAI Responses API 的模型添加了 `reasoning_summary` 选项。之前的 0.32.1 版本是为了解决 OpenAI Python 库对 `httpx` 的依赖性更改而导致的安装问题而进行的快速修复。
-
部署LLM网关：Python和Node.js教程强调分阶段验证
两个教程详细介绍了将模型网关部署到公共端点的过程，强调了分阶段的方法，并在每个步骤进行验证，以避免常见的部署陷阱。第一个教程使用Python、FastAPI和uvicorn，第二个教程使用Node.js和Docker。这两个指南都利用MonkeyCode的免费资源来获取模型端点和服务器，并强调在编写代码之前定义清晰的请求和响应契约的重要性。它们强调本地测试是不够的，真实主机才能揭示冷启动和网络复杂性等问题。
-
开发者用Python脚本测试免费LLM服务器的极限
一位开发者创建了一个Python脚本来测试免费大语言模型（LLM）服务器的性能极限。该脚本采用“阶梯测试”方法，逐渐增加并发量，以识别服务器何时开始减速、返回错误或产生损坏的输出。这种方法旨在揭示这些免费接口隐藏的性能上限，这些上限通常未被记录，并可能导致批量处理期间出现意外故障。
-
新的 probe.py 脚本帮助开发者在集成前测试大模型的就绪情况
一位开发者创建了一个名为 probe.py 的 Python 脚本，以帮助团队在将新的大模型集成到生产环境之前对其进行评估。该脚本侧重于实际的、可复现的正确性、延迟和一致性测试，而不是广泛的基准测试。它允许用户运行 DeepSeek-V4-Pro-0813 和 Grok-4.6 等候选模型，通过一系列提示来确保它们能够处理实际需求，例如有效的 JSON 响应和负载下的稳定性能。这种方法旨在通过快速、免费层级的探测来验证模型的就绪情况，…
-
AI营销代理通过五阶段流程自动化个性化邮件外联
一篇技术深度文章概述了一个旨在自动化个性化邮件外联的AI营销代理的架构。该代理通过一个五阶段流程处理原始数据，首先是一个定向网络爬虫，用于从公司技术博客、工程变更日志和开发者文档中收集信息。该系统使用Python及asyncio和httpx等库来高效收集数据，旨在改进传统冷邮件外联方法（其打开率和回复率较低）。目标是在10分钟内生成100多封独特、与上下文相关的邮件，显著提升参与度指标。
-
Python库简化Ollama API集成并提供错误处理
一个名为ollama.py的Python库已被开发出来，用于促进与Ollama大语言模型API的交互。该库包含一个客户端类，负责处理API请求、模型可用性检查和结构化数据生成。它还集成了针对网络问题和模型不可用性的错误处理，以及针对不稳定连接的重试机制。
-
LangChain 发布核心组件和主库更新
LangChain 已发布其核心组件和主库的更新。Langchain-core 1.5.5 版本包括对 pydantic 验证、合并块和处理 Anthropic 内容块的修复，以及对 httpx 的显式依赖。主 LangChain 库 1.3.15 版本为代理和工具引入了新的中间件功能，改进了摘要和工具模拟的错误处理，并增强了与 LangSmith 的集成。这些更新还解决了各种依赖项的升级和内部重构。
-
FastAPI 教程展示如何将 LLM 响应流式传输到浏览器
本文详细介绍了如何使用 FastAPI 和 uvicorn 创建一个流式端点，该端点可将 LLM 响应高效地发送到 Web 浏览器。它强调了避免服务器和客户端之间缓冲以实现真正流式传输的重要性。提供的 Python 代码演示了如何设置一个异步生成器端点，该端点连接到 LLM API（例如 OpenAI 的 gpt-4o-mini），并将输出格式化为服务器发送事件 (SSE)，并带有独立的 'token'、'error' 和 'done…
-
Anthropic 的 Claude AI 简化漏洞赏金猎取工作流程
一篇指南演示了如何利用 Anthropic 的 Claude AI 模型进行漏洞赏金猎取，重点关注其超越简单侦察的能力。该帖子详细介绍了 Claude 如何通过集成 Subfinder 和 httpx 等各种工具来协助设置自动化侦察管道，以及它如何通过解释函数和识别潜在漏洞来帮助理解代码。该 AI 的优势在于其能够快速构建和迭代基于代码的任务，为猎取者节省语法和工作流程集成方面的时间。
-
CacheGuard 中间件保护 LLM 提示缓存免受计时攻击
一种名为 CacheGuard 的新中间件已被开发出来，用于解决大型语言模型 (LLM) 提示缓存中的安全漏洞。该系统可防止计时侧信道攻击，攻击者通过测量响应时间来推断提示是否被缓存，从而可能泄露敏感信息。CacheGuard 通过分析响应时间和前缀熵来检测这些攻击，然后采用自适应抖动、缓存旁路和租户隔离等防御措施来消除威胁。
-
批准 AI 生成的 Slack 消息并进行人工审核
本文详细介绍了如何使用 Impri 将 AI 代理的 Slack 消息发布与其人工审批步骤集成。该系统确保 AI 生成的消息在发送到 Slack 频道之前由人工审核、编辑或拒绝。这对于面向客户的机器人尤其有用，因为单个错误回复可能会造成损害。实现过程涉及使用 Impri 的 API 创建审批操作，然后在消息通过 Slack SDK 最终发布之前轮询以获取决定。
-
新研究致力于 LLM KV 缓存优化以提高效率 · 已追踪 10 个来源
近期研究论文引入了优化大型语言模型中 KV 缓存管理的新技术，解决了内存瓶颈并提高了推理效率。vToken、GCache、LinearKV、KVDiagnosis、SemPIC、SPECTRA、CommitKV、RippleKV、CoinRAG 和 GraceKV 等方法提出了各种策略，包括令牌级虚拟化、全局影响缓存、与位置无关的缓存、诊断基准测试、语义缓存、谱变换编码、生命周期感知压缩和全局资源分配。这些方法旨在减少内存使用量、加速…