asyncio
PulseAugur coverage of asyncio — every cluster mentioning asyncio across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
Python requests 超时未能处理 LLM 流式传输,修复涉及 max_tokens 和挂钟时间限制
一位开发者遇到一个问题,在使用 vLLM 服务的 LLM 进行流式传输响应时,Python 的 `requests` 库未能遵守指定的超时设置。`requests.post` 中的 `timeout=60` 参数仅限制接收字节之间的时间,而不是请求的总持续时间。这导致一个陷入重复循环的模型运行了 38 分钟多,消耗了资源并延迟了其他任务。开发者通过在流式传输循环中设置 `max_tokens` 限制和强制执行挂钟时间限制来实现修复,将…
-
LLMOps 策略通过分级响应来应对模型降级
本文提出了一种名为“降级阶梯”的 LLMOps 策略来处理大型语言模型的问题。它建议创建分级的响应路径,按成本和延迟排序,而不是仅仅依赖单一的前沿模型。这些层级包括缓存、特定任务模型、更小的通用模型,最后是前沿模型,并为完全故障提供静态回退。作者强调应谨慎使用重试,以避免放大提供商的问题,并应在传输层强制执行截止日期。
-
vLLM 基准测试揭示 19 倍延迟悬崖和非确定性输出
在单个 GeForce RTX 3060 上对 vLLM 进行基准测试,结果显示基于配置设置的性能变化显著。一个参数 max-num-seqs,在压力条件下从 32 增加到 128 时,首次标记时间 (TTFT) 增加了 19 倍。研究还发现,llm-jp-1.8B 模型比 Swallow-8B AWQ 的请求服务速度快 3.6 倍,部分原因归功于 vLLM 的优化内核。此外,使用 Swallow-8B AWQ 的推理模型即使在温度为…
-
pylinxi 为AI代理提供Pythonic的持久性,绕过图的复杂性
pylinxi 是一个新推出的开源Python库,旨在通过保存其进度来增强AI代理的可恢复性。与LangGraph等基于图的框架不同,后者可能会为复杂的逻辑和状态管理引入开销,pylinxi将代理的工作流视为标准的Python异步函数。它会记录每个步骤的执行情况,允许代理在中断时从中断处恢复,而不是从头开始。这种方法旨在通过处理速率限制、格式错误的输出和部署中断等问题,使AI代理在生产环境中更加健壮。
-
Python 脚本支持 LLM API 调用并行处理
一个使用 asyncio 和 aiohttp 开发的 Python 脚本,能够高效地将大量项目批量发送到 LLM API。该工具旨在并行处理数千个项目,默认使用八个工作进程以提高性能。虽然功能先进,但该脚本已准备就绪,可供寻求优化 LLM API 交互的开发者立即使用。
-
开发者修复了阻塞 asyncio 事件循环的 Anthropic 客户端 bug
一位开发者在扩展其语音 AI 应用程序以支持多用户时遇到了严重的性能问题,由于同步 Anthropic 客户端阻塞了 asyncio 事件循环,导致延迟高达 11.4 秒。该问题最初被单用户测试所掩盖,因为在单用户测试中阻塞调用看起来是正常的。开发者通过启用 asyncio 调试模式并实现一个循环延迟监视器来识别问题,最终通过切换到异步 Anthropic 客户端并使用 `async for` 进行流式响应来解决问题。
-
Claude Code 帮助开发者修复难以捉摸的 Python 竞态条件
一位开发者使用 Claude Code 高效地调试了一个异步 Python 应用程序中的竞态条件,该条件导致了重复的网络钩子传递。这个问题在生产环境中偶尔发生,并且难以重现,通过向 Claude Code 提供原始症状和证据,而不是预先设定的理论,从而得以识别。AI 帮助定位了一个“先检查后行动”的漏洞,其中同一传递的两个并发作业都可以在标记传递已发送之前通过初始检查,从而导致重复通知。此过程产生了一个确定性的测试用例和一个 11 行的代码修复。
-
Scrapy 2.19 新增默认 RemoteControl 扩展,支持爬取过程中执行 Python 代码
Scrapy 的最新版本 2.19 引入了一个新的 RemoteControl 扩展,该扩展默认启用,允许用户在实时爬取过程中执行 Python 代码。此扩展会在一个随机端口上启动一个 HTTP 服务器,并通过 bearer token 进行保护,并创建一个包含爬取详情的作业文件。服务器提供两个端点:/status 用于查看爬取信息,/execute 用于执行任意 Python 代码,并返回其输出或遇到的任何错误。执行的代码可以访问实…
-
免费LLM服务器:探究性能并规避陷阱
多篇文章讨论了使用免费LLM模型服务器和配额的挑战与最佳实践,强调这些服务是共享队列而非专用资源。文章着重指出在负载下测量性能的重要性,因为由于并发使用,延迟和可靠性可能差异很大。作者提供了脚本和方法来探查这些免费层级,评估令牌使用量、请求限制和响应时间等因素,以确定它们是否适用于特定工作负载,特别是对于非生产或批量任务。
-
在代码中强制执行免费LLM Token预算,而非纪律
开发者应将免费LLM Token额度视为严格预算,并在代码中强制执行,而不是依赖纪律。一个常见的陷阱是后台作业在未通知的情况下消耗Token,尤其是在重试期间。作者提出了一种代理,在Token使用前进行预留,类似于库存管理,以防止超支。这种方法确保应用程序可以在免费套餐的最严格限制内运行,防止即使在付费套餐中也会持续存在的问题。
-
开发者通过管理 HTTP 客户端的 keep-alive 来修复 LLM 连接错误
一位开发者在使用免费 LLM 端点时遇到了间歇性的连接错误,请求会挂起整整三十秒然后失败。通过详细的日志记录,他们发现问题源于他们的 HTTP 客户端重用了网关因不活动而关闭的 keep-alive 连接。通过在网关的空闲超时时间内进行后续请求,可以重现此问题。解决方案是配置 HTTP 客户端在网关之前主动回收连接,从而防止使用过时的连接。
-
免费LLM服务器在16个并行请求的并发负载下崩溃
一项性能测试显示,一个名为MonkeyCode的免费模型服务器在16个并行请求的并发负载下崩溃了。该测试使用Python的asyncio和httpx进行,测量了从1到32的并发级别下的成功率、延迟和吞吐量等各种指标。实验旨在揭示单请求测试可能忽略的争用问题,服务器在超过16个并发调用后性能显著下降。
-
LLM服务器方差探测揭示单次运行测试的不可靠性 · 跟踪2个来源
两篇文章探讨了免费LLM服务器性能的方差,认为单次运行会提供误导性结果。第一篇文章介绍了一个Python脚本,该脚本每小时发送20个请求,在24小时内测量延迟和错误率,并强调了不一致的性能如何可能破坏管道。第二篇文章提出运行50个顺序请求,每次暂停一秒,以分析延迟、输出和错误率的方差,并强调一致的测量对于理解端点可靠性至关重要。
-
开发者用Python脚本测试免费LLM服务器的极限
一位开发者创建了一个Python脚本来测试免费大语言模型(LLM)服务器的性能极限。该脚本采用“阶梯测试”方法,逐渐增加并发量,以识别服务器何时开始减速、返回错误或产生损坏的输出。这种方法旨在揭示这些免费接口隐藏的性能上限,这些上限通常未被记录,并可能导致批量处理期间出现意外故障。
-
AI营销代理通过五阶段流程自动化个性化邮件外联
一篇技术深度文章概述了一个旨在自动化个性化邮件外联的AI营销代理的架构。该代理通过一个五阶段流程处理原始数据,首先是一个定向网络爬虫,用于从公司技术博客、工程变更日志和开发者文档中收集信息。该系统使用Python及asyncio和httpx等库来高效收集数据,旨在改进传统冷邮件外联方法(其打开率和回复率较低)。目标是在10分钟内生成100多封独特、与上下文相关的邮件,显著提升参与度指标。
-
RAG架构详解:从文档到答案
本文详细介绍了检索增强生成(RAG)系统的架构,解释了其核心组件及其职责。它概述了一个包含文档解析、分块、嵌入、向量存储、语义搜索和响应生成的管道,强调了将这些阶段分开进行独立测试和可靠运行的重要性。作者以其内部知识助手Guidely为例,说明RAG系统如何从文档中检索相关信息来构建答案,并附带引用。
-
FastAPI 教程展示如何将 LLM 响应流式传输到浏览器
本文详细介绍了如何使用 FastAPI 和 uvicorn 创建一个流式端点,该端点可将 LLM 响应高效地发送到 Web 浏览器。它强调了避免服务器和客户端之间缓冲以实现真正流式传输的重要性。提供的 Python 代码演示了如何设置一个异步生成器端点,该端点连接到 LLM API(例如 OpenAI 的 gpt-4o-mini),并将输出格式化为服务器发送事件 (SSE),并带有独立的 'token'、'error' 和 'done…
-
审计显示12个MCP服务器中有4个存在关键的静默故障
对12个Multi-Call Protocol (MCP)服务器的审计揭示了其中四个服务器存在严重问题,包括静默故障和不符合模式。一个服务器接受了路径数组,但将其处理为单个字符串,导致结果不准确。另一个服务器持续返回“status: ok”响应,掩盖了无效API密钥或超出用户配额等潜在错误。“发送通知”工具尽管被记录为可安全重试,却发送了重复消息。此外,一个服务器表现出间歇性功能,仅在中午左右才能正常工作。
-
在真实世界的调试任务中,MiMo v2.5-Pro 的表现优于 DeepSeek V4-Pro
一位开发者进行了一项真实的调试基准测试,在 httpcore Python 库的一个复杂竞态条件 bug 上对比了 DeepSeek V4-Pro 和 MiMo v2.5-Pro。该基准测试涉及分析多文件代码库和理解异步任务取消。MiMo v2.5-Pro 展现了更强的调试能力,识别出了 bug 并提供了更深入的分析,而 DeepSeek V4-Pro 则速度更快,更适合代码生成任务。
-
Python 的 Asyncio:理解真正的异步编程
本文阐明,Python 的 `async` 和 `await` 关键字支持异步编程,但本身并不能使代码真正异步。真正的异步性需要在事件循环中进行仔细实现,以有效地管理并发操作。本文旨在帮助开发者理解其中的细微差别,并避免导致代码行为不如预期的常见陷阱。