Kong Inc.
PulseAugur coverage of Kong Inc. — every cluster mentioning Kong Inc. across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
Ollama 生产环境设置详情介绍 GPU 内存管理和负载均衡
本文详细介绍了 Ollama 的生产环境设置,重点关注 GPU 内存管理和并发负载。作者描述了一种混合 GPU 驻留策略,将 qwen3:8b 和 BGE M3-Embedding 等常用模型固定在内存中,同时在单独的实例上运行不太常用的模型。他们强调调整 Ollama 的 `OLLAMA_MAX_LOADED_MODELS` 参数以防止 VRAM 抖动,并引用了一个生产事件,其中延迟显著增加。该架构利用 Kong API Gatew…
-
AI网关:在代币价格下跌中管理LLM成本 · 跟踪2个来源
随着AI模型代币价格的下降,AI网关通过将请求路由到最高效的模型、缓存响应和强制执行预算,在管理成本方面变得至关重要。LiteLLM、Cloudflare AI Gateway、Kong AI Gateway、Bifrost和OpenRouter等多个平台提供了不同的方法,从可自托管的开源解决方案到托管服务和市场。这些网关之间的选择通常取决于数据驻留要求和基础设施控制等因素,其中路由器优先考虑开发人员速度,而网关则侧重于治理和策略执行。
-
AI网关整合LLM访问、安全和成本控制 · 跟踪4个来源
AI网关正成为管理LLM交互的关键中间件,集中处理路由、安全和成本控制。这些平台旨在通过为不同的LLM提供商提供统一的API来简化开发,从而实现更轻松的模型切换并防止供应商锁定。关键评估标准包括治理范围、安全功能、可观测性、访问控制和部署灵活性,选项范围从基础设施优先的扩展到LLM原生解决方案。
-
Docker部署顶级AI网关Top 10评测
本文评测了十款可使用Docker快速部署的AI网关,重点关注其是否适合生产环境。关键评估标准包括提供商和模型支持、性能、自动故障转移等可靠性功能、速率限制等治理能力以及部署灵活性。Maxim AI的开源网关Bifrost因其企业级性能、统一的API访问众多模型以及高级治理功能而受到关注。
-
Kong Konnect MCP 漏洞允许在 API 日志中隐藏命令
在 Kong Konnect MCP 中发现了一个安全漏洞 CVE-2026-13341,该漏洞允许恶意数据隐藏在 API 请求中。当 AI 助手在调查期间访问这些数据时,可能会被解释为命令,从而导致未经授权的操作或数据泄露。该漏洞源于系统检索和处理存储的请求数据的方式,特别是与能够将文本转换为操作的 AI 代理交互时。Kong 已发布补丁,通过标准化和标记不受信任的输入字段来缓解此风险。
-
LiteLLM替代方案提供高级治理和性能
LiteLLM是一个流行的开源工具,用于管理LLM提供商,但它缺乏像RBAC和预算执行这样的高级治理功能。TrueFoundry提供了一个具有这些功能的托管解决方案,适用于需要强大控制的组织。Portkey已将其网关开源,提供类似的治理功能,尽管其被Palo Alto Networks收购的交易带来了不确定性。Bifrost等其他替代方案侧重于原始性能,而Cloudflare AI Gateway为现有的Cloudflare用户提供了…
-
Spotify 利用 Kong 的 AI 网关大规模支持生成式 AI
Spotify 已经实施了 Kong 的 AI 网关来管理和扩展其生成式 AI 项目。此次集成使 Spotify 能够处理增加的 AI 流量,并确保其 AI 驱动功能的有效运行。此次部署旨在为其日益增长的生成式 AI 技术使用提供强大的基础设施。
-
OpenRouter 面临来自自托管和注重治理的大语言模型替代方案的竞争
OpenRouter 是一个聚合了 300 多个大语言模型(LLM)的平台,目前正面临来自提供自托管、更低费用或增强治理功能的替代方案的竞争。用户正在寻求能够解决数据驻留问题、降低大规模成本并提供 OpenRouter 目前缺乏的强大功能(如 RBAC、预算和审计跟踪)的解决方案。LiteLLM 和 Kong Inc. 等替代方案提供自托管选项,而 Portkey、TrueFoundry 和 Cloudflare AI Gateway…
-
AI网关成为LLM管理必不可少的中间件
AI网关充当应用程序和LLM提供商之间的中间件层,集中处理路由、身份验证、速率限制和成本跟踪等功能。开发人员在遇到意外成本飙升、模型静默失败或安全审计失败等特定问题后,通常会意识到对此类系统的需求。实施AI网关可以更好地管理API密钥,提供每个团队或服务的精细成本可见性,并能够在不修改应用程序代码的情况下动态调整路由和策略。
-
Kong AI Gateway 通过 Agent Gateway 更新增强 AI 流量管理
Kong AI Gateway 是一个用于管理 AI 流量的平台,已于 2026 年 4 月发布 Agent Gateway,更新了其功能。此次更新解决了之前关于代理循环原生异步执行的批评,并增强了 LLM、MCP 和代理到代理的流量治理。虽然 Kong 提供成熟的生态系统、强大的性能和对 GitOps 友好的配置,但其高级 AI 功能(如基于令牌的速率限制和 PII 清理)通常与企业许可绑定,这会显著增加成本。
-
Docker 推出 AI Governance 以保护开发者笔记本电脑
Docker 推出了 AI Governance,这是一个新的控制平面,旨在管理和保护在开发者笔记本电脑和其他端点上运行的 AI 代理。该系统允许安全团队从中央控制台定义和执行 AI 代理访问网络、文件系统和外部工具的策略。通过利用基于 microVM 的沙箱和 MCP Gateway,Docker 旨在为 AI 代理提供运行时安全性,填补了传统安全工具通常无法监控开发者机器上活动的空白。