uvicorn
PulseAugur coverage of uvicorn — every cluster mentioning uvicorn across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
使用 Python 和 MonkeyCode 构建持久化的 LLM 决策日志
本教程演示了如何使用 Python、FastAPI 和 MonkeyCode 的免费模型访问来构建一个决策日志系统。该系统旨在记录模型的原始响应以及基于这些响应所采取的操作，确保即使在服务器重启后数据也能持久化。它包括用于做出决策、检索过往决策和检查系统运行状况的端点，记录存储在 JSON Lines 文件中，以实现可审计性和避免昂贵的模型重放。
-
部署LLM网关：Python和Node.js教程强调分阶段验证
两个教程详细介绍了将模型网关部署到公共端点的过程，强调了分阶段的方法，并在每个步骤进行验证，以避免常见的部署陷阱。第一个教程使用Python、FastAPI和uvicorn，第二个教程使用Node.js和Docker。这两个指南都利用MonkeyCode的免费资源来获取模型端点和服务器，并强调在编写代码之前定义清晰的请求和响应契约的重要性。它们强调本地测试是不够的，真实主机才能揭示冷启动和网络复杂性等问题。
-
NVIDIA 发布 NeMo Switchyard 以实现动态 LLM 路由
NVIDIA 发布了 NeMo Switchyard，这是一个开源的 Rust 代理，用于在不同模型之间路由 LLM 流量。该工具允许用户配置一个系统，其中初始请求由更小、更快的模型处理，并且仅在必要时根据 LLM 裁判的决定升级到更大、更强大的模型。作者成功地将 NeMo Switchyard 与 Mac 上的本地 Ollama 模型集成，尽管遇到了最初的打包和配置问题。基准测试显示代理的开销很小，在几次复杂的提示交互后会升级到更大的模型。
-
去中心化 AI 代理协议 IRC-A 已集成到生产环境中
作者详细介绍了 IRC-A（一种去中心化多代理协议）的生产部署。在最近的一次实验中，一个新的销售报告代理在 46 分钟内被集成到实时系统中，展示了该协议的模块化。该系统还成功抵御了试图绕过安全不变量的 AI 生成的代码修改，突显了其加密执行的鲁棒性。
-
FastAPI 教程展示如何将 LLM 响应流式传输到浏览器
本文详细介绍了如何使用 FastAPI 和 uvicorn 创建一个流式端点，该端点可将 LLM 响应高效地发送到 Web 浏览器。它强调了避免服务器和客户端之间缓冲以实现真正流式传输的重要性。提供的 Python 代码演示了如何设置一个异步生成器端点，该端点连接到 LLM API（例如 OpenAI 的 gpt-4o-mini），并将输出格式化为服务器发送事件 (SSE)，并带有独立的 'token'、'error' 和 'done…
-
自托管人工智能的零信任架构详解
本文详细介绍了如何在自托管人工智能系统中实施零信任架构，超越传统的网络安全。它强调使用相互 TLS (mTLS) 来加密和认证人工智能组件之间的通信，从而验证每一次交互，从工具调用到内存访问。文章还提倡使用基于属性的访问控制 (ABAC) 而非基于角色的访问控制 (RBAC)，以根据身份、资源和操作强制执行精细的权限。
-
Kubernetes 解决了超越 Docker 的多容器编排挑战
Kubernetes 对于跨多台机器管理多个容器至关重要，解决了诸如单个 Python 脚本或单独使用 Docker 等简单解决方案的局限性。Python 脚本虽然易于使用，但存在单点故障且缺乏隔离性。虚拟机提供更好的隔离性，但资源消耗大且部署缓慢。Docker 增强了可移植性，但主要解决单主机问题，而 Docker Compose 仅限于在一台机器上协调容器。Kubernetes 引入了调度、自愈、服务发现、扩展和零停机部署等高级功…
-
Andrew Ng 发布 OpenWorker，一个用于完成交付成果的本地 AI 代理
Andrew Ng 推出了 OpenWorker，一个开源的、本地优先的桌面 AI 代理，旨在完成任务并生成最终交付成果，而不仅仅是进行对话。该代理完全在用户的机器上运行，支持包括 OpenAI、Anthropic、Google 的模型以及本地 Ollama 实例在内的广泛模型。OpenWorker 以其强大的权限引擎脱颖而出，该引擎按风险对工具调用进行分类，并允许用户定义自定义批准模式，确保用户对后果性操作的控制。
-
开发者构建 RAGEval API 以评估 RAG 系统
开发者详细介绍了 RAGEval 的创建过程，这是一个旨在评估和调试检索增强生成 (RAG) 系统的平台。面对大型语言模型 (LLM) 自信地提供错误信息的挑战，开发者使用 FastAPI 和 LiteLLM 构建了一个基础 API，以确保可靠的 LLM 调用、错误处理和实时流式响应。这个在两天内开发出来的强大基础支持多个 LLM 提供商，并包含健康检查和流式完成端点等基本功能。
-
LiteLLM：LLM代理的优势和扩展性挑战
文章讨论了 LiteLLM，一个提供统一接口连接超过 100 家 LLM 提供商的工具，强调了它在快速原型设计和 Python ML 团队易用性方面的优势。然而，文章也指出了在管理 Redis 和 Postgres 数据库方面的扩展性挑战，高负载下 Python 运行时可能出现的延迟问题，以及实时预算执行方面的限制。作者认为，虽然 LiteLLM 非常适合初步开发和小规模部署，但需要健壮、可扩展的基础设施和更严格治理的团队可能需要考虑…