envoy
PulseAugur coverage of envoy — every cluster mentioning envoy across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
团队 LLM API 密钥管理：安全和预算控制的最佳实践
为团队管理大型语言模型 (LLM) API 密钥需要一个强大的系统，以防止预算超支和安全漏洞。最佳实践包括为每个开发人员分配单独的密钥，按环境和用户角色对密钥进行分段，并实施每个密钥的支出上限，而不是账户级别的限制。应简化定期密钥轮换，并且全面的审计日志对于跟踪使用情况、模型选择和令牌消耗至关重要，以便识别任何问题的根源。
-
PayPal 详解 Cosmos LLM 网关，用于管理企业AI流量
一篇研究论文详细介绍了Cosmos LLM网关的设计与运行。该系统由PayPal开发，用于管理企业范围内对多个大型语言模型的访问。该网关基于Envoy构建，将控制决策与数据处理分离，以最大限度地减少延迟。它使用由Open Policy Agent评估的声明式策略进行治理，处理身份验证、凭证代理和预算评估。截至2026年9月，该系统已服务超过12,000名开发人员，支持数百个业务用例，日均处理约2000亿个token，覆盖超过100个模…
-
管理 AI 模型流量的排名前 5 的开源 LLM 网关
有几个开源 LLM 网关可帮助应用程序管理对多个 AI 模型的请求，包括 Bifrost、LiteLLM、Kong、Apache APISIX 和 Agent Router。这些网关提供统一的 API、模型路由、重试、可观察性和成本管理，简化了与 OpenAI、Anthropic、Google 和 Amazon Bedrock 等各种提供商的集成。网关的选择取决于所需的路由控制、基础设施和生产 AI 流量等因素，选项包括面向生产的 B…
-
关键 Brotli 漏洞 Node2Shell 影响 Node.js、Python 和 HTTP 应用
一个名为 Node2Shell (CVE-2026-111497) 的关键漏洞已在 Brotli 压缩库中被发现，影响多种编程语言和应用程序。该漏洞在处理精心构造的 Brotli 数据时，可能导致内存泄露或任意代码执行。尽管根源问题已于二月被 Google 的 Brotli 解码器修复，但该漏洞最初并未被识别为安全问题，因此需要更新包括 Node.js 和 Python 在内的各种软件生态系统。
-
作者认为代理控制平面是重新包装的 API 网关
作者认为，“代理控制平面”的概念本质上是对现有基础设施的重新包装，而不是一个新软件类别。他们将代理控制平面的四个核心功能——成本计量、审批队列、工具调用策略和审计日志——分解，并将每个功能映射到 API 网关、工作流工具、授权系统和结构化日志记录等现有技术。尽管承认这些工具需要适应代理的特定需求，但作者认为团队可以利用他们现有的基础设施来有效地管理 AI 代理。
-
负载均衡器难以满足 LLM 服务需求，'llm-d' 提供解决方案
本文深入探讨了在容器化环境（如 Kubernetes）中使用负载均衡器为大型语言模型 (LLM) 提供服务所面临的挑战。文章强调，传统的负载均衡解决方案，如 nginx、Envoy 和 HAProxy，在处理 LLM 推理的独特需求时可能会失败，而 LLM 推理通常涉及长时间运行、有状态的连接。文章介绍了 'llm-d' 作为解决这些特定 MLOps 挑战的潜在方案。
-
Stdio 传输在 AI 代理工具调用延迟方面优于 SSE
一项最新基准测试评估了模型上下文协议 (MCP) 中两种传输协议——标准输入输出 (Stdio) 和服务器发送事件 (SSE)——的性能。研究发现，对于 Cursor Agent 和 Claude Desktop 等开发人员工作站和桌面代理，Stdio 更胜一筹，可提供低于 3 毫秒的调用延迟和更简单的架构。对于多租户云环境，建议使用 SSE，因为它能够通过 Envoy 或 Traefik 等代理处理身份验证和速率限制。
-
Kubernetes 和 Envoy AI Gateway 简化 AI 工作负载管理
文章讨论了 MLOps 的实现和架构，重点关注使用 Kubernetes 运行大规模 AI 工作负载。关键主题包括在 Kubernetes 上使用 KServe 进行模型服务，以及开发 Envoy AI Gateway 作为管理各种 LLM 流量的解决方案。Envoy AI Gateway 旨在通过抽象 API 调用、计费和响应流的差异，来标准化与 OpenAI、Anthropic 和 Bedrock 等不同 LLM 提供商的交互。
-
Google 的 HTTP/2 编解码器性能与 Nghttp2 对比；推出 Plat-Painter 工具
一篇技术博客文章将 Google 的 HTTP/2 编解码器与 Nghttp2 的性能进行了比较，发现 Google 的实现导致 Envoy 代理性能下降。另外，一篇文章介绍了 Plat-Painter，一个利用黎曼流形上的高斯分布的工具，应用于机器人学习和自适应控制。
-
eBPF 套接字转向扩展了用于 HTTP/3 连接迁移的 QUIC 入口
本文详细介绍了如何扩展 QUIC 入口以支持 HTTP/3 连接迁移，这是客户端更改 IP 地址时出现的挑战。传统的 UDP 代理依赖于客户端 IP 和端口的哈希，当客户端 IP 更改时会失败，导致数据包丢失。解决方案是使用 eBPF（扩展 Berkeley 数据包过滤器）在内核级别转向 QUIC 连接，使其即使在客户端网络路径发生变化时也能保持连接。这种方法利用了 Linux 内核功能，并被提出作为对简单 UDP 代理部署的修复。
-
Modal 推出超低延迟服务器，适用于高性能应用
Modal 推出了名为 Modal Servers 的新功能，旨在为需要高性能的应用（如交互式代理的 LLM 推理）提供超低延迟服务器托管。这项新产品利用了一个由流式边缘代理、智能无状态代理和计算负载均衡器组成的路由层，该层构建在 Pingora、Envoy 和 Spanner 等技术之上。与提供类似 TCP 的内置可靠性功能的 Modal Web Functions 不同，Modal Servers 针对速度进行了优化，其运行方式更…
-
KCD 华盛顿特区展示了 AI 在分子设计和流量管理中的应用
两位演讲者 Lin Sun 和 Erica Hughberg 在 KCD 华盛顿特区就 AI 相关主题进行了演讲。Lin Sun 展示了人工智能在分子纳米磁体和量子比特设计中的应用，并通过现场演示吸引了观众。Erica Hughberg 讨论了使用 Envoy Gateway AI 将 AI 工作负载与流量管理相结合的问题。
-
Envoy 在迈阿密机场部署自动驾驶轮椅
Envoy 已在迈阿密国际机场部署自动驾驶轮椅以协助乘客。这些自动轮椅旨在独立导航机场，提供新的移动辅助水平。该举措旨在改善需要移动辅助的个人的旅行体验。
-
OpenAI Codex 助力发现 HTTP/2 服务器内存漏洞
安全研究人员利用 OpenAI 的 Codex 发现了一个名为 HTTP/2 Bomb 的漏洞。这种攻击方法利用服务器内存，虽然 Nginx、Apache 和 Envoy 等一些流行的 Web 服务器已有修复方案，但 IIS 和 Pingora 等其他服务器仍未打补丁。
-
Starlette 主机头漏洞暴露 AI 代理于远程控制
使用主机头进行身份验证或路由的 Starlette 应用程序中存在一个关键安全漏洞，可能使 AI 代理暴露于远程控制。攻击者可以通过操纵提示和工具调用来利用此“BadHost”漏洞冒充租户、绕过访问控制并窃取数据。实施强大的安全措施，例如使用 Nginx 或 Envoy 代理、验证主机头以及采用护栏，对于保护 AI 代理免受这些复杂攻击至关重要。
-
2026年5月摘要：API网关安全与性能进展
这组来自2026年5月的文章详细介绍了API网关架构的进展，重点关注性能、多云部署和安全性。内容涵盖使用Bucket4j和Infinispan实现速率限制，使用Vert.x构建高性能网关，以及使用Go和Envoy设计强大的多云网关。文章还讨论了关键的安全问题，包括供应链攻击、提示注入以及使用OAuth 2.1构建强大的授权机制。
-
ArchGW 发布开源智能代理，用于 AI 代理编排
ArchGW 是一个开源的智能代理服务器，旨在简化代理式 AI 应用的开发。它集中了代理路由、编排、安全防护和模型敏捷性等核心中间件功能，使开发人员能够专注于核心产品逻辑。ArchGW 基于 Envoy 构建，并得到 LLM 研究的支持，支持多种语言和 AI 框架，提供低延迟编排、代理信号的零代码捕获和审核钩子等功能。