Portkey
PulseAugur coverage of Portkey — every cluster mentioning Portkey across labs, papers, and developer communities, ranked by signal.
- acquired by Ai Gateway 95%
- developed by Bifröst 90%
- developed Nexus Labs 90%
- used by Bifröst 90%
- used by Photoroom 90%
- uses Photoroom 90%
- competes with Helicone 70%
- competes with Cloudflare AI Gateway 70%
- competes with Langfuse 70%
- used by Nexus Labs 70%
- uses Nexus Labs 70%
- instance of LLM Gateway 70%
8 天有情绪数据
-
LLM 路由基础设施比依赖单一模型更有价值
作者发现，在自动化堆栈中依赖单一、高成本的 LLM 来处理所有任务会导致生产问题，例如延迟增加和超时。真正的改进并非来自更高级的模型，而是来自实施具有回退功能的、针对特定任务的模型路由。这种方法使用针对不同工作（如规划或提取）进行了优化的不同模型，并采用 OpenRouter 或 Portkey 等路由基础设施来比“一刀切”策略更有效地管理可用性、成本和性能。
-
Agent Gateway 概念出现，旨在统一 LLM 和工具调用
“Agent Gateway”的概念被提出，作为与标准 LLM 代理不同的解决方案，专注于以一致的身份、审计和策略控制来支持代理调用工具。与 LiteLLM 等聚合了众多提供商的代理不同，Agent Gateway 旨在将模型调用和工具使用统一在一个控制平面下。这种方法确保在到达外部供应商之前强制执行预算和速率限制，并支持自托管以增强数据边界安全性。TrustGate 被展示为这一 Agent Gateway 概念的开源实现，由 Ne…
-
Portkey开源AI网关，此时LiteLLM遭遇供应链攻击
2026年3月24日，LLM基础设施领域发生了两件大事：Portkey开源了其AI网关，包括治理和成本控制功能；同时LiteLLM披露了一起供应链攻击事件，该事件在短时间内影响了其在Python Package Index上的两个软件包。这些事件凸显了团队在管理应用程序与LLM提供商之间流量时面临的信任问题。由于模型快速发布、代理工作负载的复杂性以及提供商特定的速率限制和定价变化，选择使用市场、自托管代理还是供应商控制平面变得越来越重要。
-
AI 网关：OpenRouter 收费，LiteLLM 提供开源替代方案
包括 OpenRouter、LiteLLM、Portkey 和 Helicone 在内的多个工具提供统一的 API 网关，用于管理多个大型语言模型提供商。随着应用程序越来越多地使用各种模型和代理框架，这些网关在成本控制、提供商故障转移和集中式可观察性方面变得至关重要。虽然 OpenRouter 作为一家收费的托管市场运营，但 LiteLLM 提供了一个开源解决方案，具有自托管代理选项和庞大的用户群。
-
Ngrok AI Gateway 利用隧道专业知识简化 LLM 路由
Ngrok 推出了 AI Gateway 产品，旨在为开发人员简化 LLM 路由。该网关充当访问各种 AI 模型、管理 API 密钥和提供可观察性的统一端点。与许多竞争对手不同，Ngrok 的产品利用了其在网络隧道和暴露本地端口方面十年的专业知识，AI Gateway 是其先前内部工具的改进版本。
-
随着市场蓬勃发展，LLM 可观测性平台在高级功能上出现分化
LLM 可观测性和评估平台市场正在迅速扩张，预计到 2030 年将达到 92.6 亿美元。平台正朝着 AI 原生工具、开源评估库、AI 网关和 APM 扩展等方向多元化发展，并且越来越多地采用 OpenTelemetry 标准以实现互操作性。Langfuse、Helicone、Opik 和 MLflow 等领先平台之间的关键差异化因素在于其高级功能，例如自动跟踪评分、复杂的速率限制规则、用于主题和 PII 检测的集成防护栏，以及具有差…
-
AI网关的出现与系统集成的演进
一个精选的系统集成工具和模式列表，最初创建于2021年，在五年内发生了显著变化。最显著的变化是出现了AI网关层，它解决了熟悉的API网关挑战，如路由、速率限制和成本跟踪，但后端是非确定性的AI。数据移动也变得更加复杂，数据集成、变更数据捕获、流处理和模式注册表等类别各不相同，反映了向持续数据流和治理的转变。此外，Webhooks已从简单的实用工具发展成为专注于可靠交付的独立产品类别，传统的企业服务总线（ESB）已以新的品牌重新包装。
-
新的Python包装器可在无代理依赖的情况下提供LLM成本可见性
一个名为Cognocient的新Python包装器已被开发出来，用于为OpenAI和Anthropic API调用提供成本归属，而无需在请求路径中引入代理。该包装器异步运行，在主要API响应返回后报告成本数据，确保报告机制的任何问题都不会影响应用程序的性能或正常运行时间。该工具专为那些重视API使用成本可见性但又不依赖关键路径代理的开发人员而设计，尽管它目前不支持流式响应。
-
Databricks AI Gateway 替代方案：TrueFoundry 领跑平台无关选项
Databricks Mosaic AI Gateway 为 Databricks 生态系统内访问 LLM 提供了一个统一的端点，提供速率限制和 PII 保护栏等功能。然而，跨多个云或 Databricks 外部运行的团队正在寻找提供平台无关性的替代方案。TrueFoundry 被列为首选替代方案，它提供了一个支持广泛 LLM、代理治理和深度可观测性的自托管网关。其他选项包括 LiteLLM，一个具有广泛模型覆盖的开源代理；以及 Po…
-
AI网关整合LLM访问、安全和成本控制 · 跟踪4个来源
AI网关正成为管理LLM交互的关键中间件，集中处理路由、安全和成本控制。这些平台旨在通过为不同的LLM提供商提供统一的API来简化开发，从而实现更轻松的模型切换并防止供应商锁定。关键评估标准包括治理范围、安全功能、可观测性、访问控制和部署灵活性，选项范围从基础设施优先的扩展到LLM原生解决方案。
-
Claude顶级MCP网关：TrueFoundry领先，Docker提供简洁方案
文章对用于Claude的MCP网关进行了排名，重点关注它们与Claude Code和Claude Desktop的特定功能（如托管设置和身份验证）的集成程度。TrueFoundry因其与Claude的托管设置、RBAC和审批网关的强大集成而排名第一。Docker的MCP网关被呈现为一个更简单、自托管的选项，适合个人开发者，而Solo.io的agentgateway和Portkey则为拥有现有Kubernetes基础设施或特定治理需求的…
-
Cursor Router 声称通过智能提示路由节省 60% 的成本
Cursor 推出了 Cursor Router，这是一个新的模型路由系统，旨在降低 AI 辅助编码的成本。该系统声称通过智能地将提示定向到能够处理任务的最具成本效益的模型，从而节省高达 60% 的成本。这得益于近期更便宜但仍然强大的 AI 模型取得的进展。然而，该路由器对提示进行分类的能力意味着它可以查看所有用户请求，从而引发了隐私担忧。
-
Cursor 将 AI 模型路由直接集成到其 IDE 中
Cursor 推出了 Cursor Router，这是一个旨在优化开发工作流程中 AI 模型使用的智能系统。此新功能会分析用户请求，并根据任务复杂性、成本和期望质量等因素，将其路由到最合适的 AI 模型。虽然与现有的模型路由服务类似，但 Cursor Router 直接集成到编码环境中的优势独特，可能会影响独立模型路由产品的市场。
-
金融科技开发者构建自定义LLM网关以保护AWS Bedrock访问
一家金融科技公司的开发人员构建了一个自定义LLM网关，以管理内部对AWS Bedrock的访问，避免了直接分发AWS凭证的风险。该网关向团队发放唯一密钥，允许对模型访问和令牌预算进行细粒度控制。这种方法将敏感数据保留在公司网络内，并为财务报告提供清晰的使用跟踪，解决了直接IAM凭证分发和共享密钥的局限性。
-
LiteLLM替代方案提供高级治理和性能
LiteLLM是一个流行的开源工具，用于管理LLM提供商，但它缺乏像RBAC和预算执行这样的高级治理功能。TrueFoundry提供了一个具有这些功能的托管解决方案，适用于需要强大控制的组织。Portkey已将其网关开源，提供类似的治理功能，尽管其被Palo Alto Networks收购的交易带来了不确定性。Bifrost等其他替代方案侧重于原始性能，而Cloudflare AI Gateway为现有的Cloudflare用户提供了…
-
开发者构建 LLM 断路器以控制预算并进行本地回退
一位开发者创建了一个轻量级的 LLM 断路器工具，以防止意外成本并确保小型 AI 项目的持续运行。该工具用大约 200 行 Python 代码编写，允许用户为付费 LLM API 设置每日支出限额。如果达到支出限额，该工具会自动切换到免费的、本地托管的模型，从而防止服务中断和预算超支。它被设计为一个进程内库，适用于独立开发者和小型代理系统，与更复杂的 LLM 网关解决方案区分开来。
-
新的Python库解决了AI代理成本失控问题
一个名为agent-cost-guardrails的新开源Python库已发布，旨在帮助管理和防止与AI代理相关的失控成本。该库为设置硬性预算限制、每次调用令牌限制和速率限制提供了框架原生解决方案，解决了部署AI代理的组织面临的一个关键痛点。它直接与CrewAI和AutoGen等流行的代理框架集成，提供了诸如断路器以及按模型和代理进行成本分解等功能，而无需外部基础设施或增加延迟。
-
AI 网关：平台费用取代 Token 加价以提高成本透明度
AI 网关在定价方面日益透明，大多数主要提供商不再对 Token 成本进行加价。取而代之的是，它们通过平台费用或信用额购买来产生收入，有些还会转嫁支付处理成本。为了最大限度地降低开支，用户可以自带提供商密钥、自托管开源网关，或利用响应缓存和路由到更便宜模型的等功能。
-
AI网关为企业LLM部署提供关键防护 · 跟踪2个来源
由于安全、合规和成本方面的考虑，AI网关正成为企业管理多个大型语言模型（LLM）的关键工具。这些网关提供诸如敏感信息检测、个人身份信息（PII）脱敏、自定义正则表达式过滤、内容审核和提示注入防护等功能。Bifrost、LLM Gateway和Portkey等解决方案提供了这些能力，其中一些还提供开源选项和自托管以获得更大的控制权和透明度。
-
OpenRouter 面临来自自托管和注重治理的大语言模型替代方案的竞争
OpenRouter 是一个聚合了 300 多个大语言模型（LLM）的平台，目前正面临来自提供自托管、更低费用或增强治理功能的替代方案的竞争。用户正在寻求能够解决数据驻留问题、降低大规模成本并提供 OpenRouter 目前缺乏的强大功能（如 RBAC、预算和审计跟踪）的解决方案。LiteLLM 和 Kong Inc. 等替代方案提供自托管选项，而 Portkey、TrueFoundry 和 Cloudflare AI Gateway…