Envoy AI Gateway
PulseAugur coverage of Envoy AI Gateway — every cluster mentioning Envoy AI Gateway across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
模型上下文协议 (Model Context Protocol) 转向无状态设计，影响网关
模型上下文协议 (MCP) 已于 7 月 28 日过渡到无状态设计，显著改变了网关管理客户端交互的方式。此前，网关依赖客户端持有的会话 ID 来路由请求和跟踪后端功能。新规范消除了会话管理，要求每个请求在其元数据中携带自己的协议版本、客户端信息和功能。Agent Router 等项目正在通过实现无状态扇出（fan-out）来实现适应，用于发现和列表请求，确保网关仍能将多个后端 MCP 服务器呈现为一个单一接口，而无需维护会话状态。
-
Kubernetes 和 Envoy AI Gateway 简化 AI 工作负载管理
文章讨论了 MLOps 的实现和架构，重点关注使用 Kubernetes 运行大规模 AI 工作负载。关键主题包括在 Kubernetes 上使用 KServe 进行模型服务，以及开发 Envoy AI Gateway 作为管理各种 LLM 流量的解决方案。Envoy AI Gateway 旨在通过抽象 API 调用、计费和响应流的差异，来标准化与 OpenAI、Anthropic 和 Bedrock 等不同 LLM 提供商的交互。
-
AI网关的出现与系统集成的演进
一个精选的系统集成工具和模式列表，最初创建于2021年，在五年内发生了显著变化。最显著的变化是出现了AI网关层，它解决了熟悉的API网关挑战，如路由、速率限制和成本跟踪，但后端是非确定性的AI。数据移动也变得更加复杂，数据集成、变更数据捕获、流处理和模式注册表等类别各不相同，反映了向持续数据流和治理的转变。此外，Webhooks已从简单的实用工具发展成为专注于可靠交付的独立产品类别，传统的企业服务总线（ESB）已以新的品牌重新包装。
-
LLMKube Operator使用AMD硬件上的本地27B模型修复了其自身的bug
一个名为LLMKube的开源Kubernetes Operator，旨在跨各种硬件进行自托管LLM推理，展示了其代理能力。其代理Foreman成功识别并修复了Operator中与硬编码的60秒超时相关的bug。该修复是由一个在消费级AMD机器上运行的27B密集编码模型生成的，而不是高端数据中心GPU。该代理不仅纠正了bug，还编写并通过了自己的测试，尽管它也生成了不相关的测试，后来被修剪掉了。