Portkey
PulseAugur coverage of Portkey — every cluster mentioning Portkey across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
在提供商复杂性日益增加的背景下，LLM网关成为AI应用的必需品
AI应用程序开发格局正转向对LLM网关的必需性，LLM网关充当管理与多个AI模型提供商交互的中央代理。这些网关提供了统一的API端点、简化的密钥和账单管理以及智能路由以优化成本、弹性和质量等好处。该领域的成熟参与者包括LiteLLM等自托管选项、OpenRouter等托管聚合器以及Portkey和Braintrust等专注于可观测性的平台。然而，开发人员必须意识到“提供商抽象差距”，即基础设施、推理引擎和量化技术的差异可能导致显著的性…
-
AWS 通过 LiteLLM 网关实现 OpenAI Codex 的集中控制
AWS 详细介绍了一种在 Amazon ECS 和 Amazon Bedrock 上使用 LiteLLM 设置 OpenAI 的 ChatGPT Codex 的方法。此方法允许组织为生成式 AI 编码代理实施集中的企业级控制，管理模型访问、消耗归因、预算和速率限制。该解决方案涉及在 AWS 账户内部署客户操作的 LiteLLM 网关，该网关充当 Codex 和 Amazon Bedrock 之间的控制点，确保安全和受管理的模型交互。
-
开发者放弃 AI 聚合器，转向直接使用中国大模型 API
开发者正越来越多地从 OpenRouter 等 AI 模型聚合器转向直接访问中国大模型 API，这得益于显著的成本节约、更快的模型更新和更高的性能。DeepSeek 等中国实验室正在快速发布新模型，在编码基准测试中往往优于更昂贵的西方替代品。一些专注于中国的网关提供的稳定定价进一步加速了这一趋势，这与直接 API 提供商可能的价格上涨形成了对比。
-
LLM可观测性工具捕获数据但未能判断代理输出质量
文章讨论了LLM基础设施的演变，从直接的供应商SDK转向LLM网关和专用可观测性堆栈。虽然LiteLLM和Portkey等网关简化了模型切换，但Langfuse和LangSmith等可观测性工具捕获了详细的跟踪数据。然而，作者认为，当前的可观测性解决方案侧重于观察代理行为，而不是评估其输出的质量或正确性，这在理解代理性能方面留下了关键的空白。
-
开发者评估多 LLM 提供商的 API 密钥管理网关
一位开发者探索使用多 LLM 提供商网关进行 LLM API 调用，特别是针对招聘产品的文本分类需求。实验重点是管理单个 API 密钥跨 OpenAI、Claude 和 Gemini 等服务，旨在简化集成并跟踪每个租户的成本。作者建议，当提供商切换频繁时，使用 Infrai 等网关，因为它具有广泛的集成和元数据功能；但如果某个提供商持续提供卓越的质量且其原生功能至关重要，则建议直接与该特定提供商集成。
-
LLM 路由基础设施比依赖单一模型更有价值
作者发现，在自动化堆栈中依赖单一、高成本的 LLM 来处理所有任务会导致生产问题，例如延迟增加和超时。真正的改进并非来自更高级的模型，而是来自实施具有回退功能的、针对特定任务的模型路由。这种方法使用针对不同工作（如规划或提取）进行了优化的不同模型，并采用 OpenRouter 或 Portkey 等路由基础设施来比“一刀切”策略更有效地管理可用性、成本和性能。
-
Agent Gateway 概念出现，旨在统一 LLM 和工具调用
“Agent Gateway”的概念被提出，作为与标准 LLM 代理不同的解决方案，专注于以一致的身份、审计和策略控制来支持代理调用工具。与 LiteLLM 等聚合了众多提供商的代理不同，Agent Gateway 旨在将模型调用和工具使用统一在一个控制平面下。这种方法确保在到达外部供应商之前强制执行预算和速率限制，并支持自托管以增强数据边界安全性。TrustGate 被展示为这一 Agent Gateway 概念的开源实现，由 Ne…
-
Portkey开源AI网关，此时LiteLLM遭遇供应链攻击
2026年3月24日，LLM基础设施领域发生了两件大事：Portkey开源了其AI网关，包括治理和成本控制功能；同时LiteLLM披露了一起供应链攻击事件，该事件在短时间内影响了其在Python Package Index上的两个软件包。这些事件凸显了团队在管理应用程序与LLM提供商之间流量时面临的信任问题。由于模型快速发布、代理工作负载的复杂性以及提供商特定的速率限制和定价变化，选择使用市场、自托管代理还是供应商控制平面变得越来越重要。
-
AI 网关：OpenRouter 收费，LiteLLM 提供开源替代方案
包括 OpenRouter、LiteLLM、Portkey 和 Helicone 在内的多个工具提供统一的 API 网关，用于管理多个大型语言模型提供商。随着应用程序越来越多地使用各种模型和代理框架，这些网关在成本控制、提供商故障转移和集中式可观察性方面变得至关重要。虽然 OpenRouter 作为一家收费的托管市场运营，但 LiteLLM 提供了一个开源解决方案，具有自托管代理选项和庞大的用户群。
-
Ngrok AI Gateway 利用隧道专业知识简化 LLM 路由
Ngrok 推出了 AI Gateway 产品，旨在为开发人员简化 LLM 路由。该网关充当访问各种 AI 模型、管理 API 密钥和提供可观察性的统一端点。与许多竞争对手不同，Ngrok 的产品利用了其在网络隧道和暴露本地端口方面十年的专业知识，AI Gateway 是其先前内部工具的改进版本。
-
随着市场蓬勃发展，LLM 可观测性平台在高级功能上出现分化
LLM 可观测性和评估平台市场正在迅速扩张，预计到 2030 年将达到 92.6 亿美元。平台正朝着 AI 原生工具、开源评估库、AI 网关和 APM 扩展等方向多元化发展，并且越来越多地采用 OpenTelemetry 标准以实现互操作性。Langfuse、Helicone、Opik 和 MLflow 等领先平台之间的关键差异化因素在于其高级功能，例如自动跟踪评分、复杂的速率限制规则、用于主题和 PII 检测的集成防护栏，以及具有差…
-
AI网关的出现与系统集成的演进
一个精选的系统集成工具和模式列表，最初创建于2021年，在五年内发生了显著变化。最显著的变化是出现了AI网关层，它解决了熟悉的API网关挑战，如路由、速率限制和成本跟踪，但后端是非确定性的AI。数据移动也变得更加复杂，数据集成、变更数据捕获、流处理和模式注册表等类别各不相同，反映了向持续数据流和治理的转变。此外，Webhooks已从简单的实用工具发展成为专注于可靠交付的独立产品类别，传统的企业服务总线（ESB）已以新的品牌重新包装。
-
新的Python包装器可在无代理依赖的情况下提供LLM成本可见性
一个名为Cognocient的新Python包装器已被开发出来，用于为OpenAI和Anthropic API调用提供成本归属，而无需在请求路径中引入代理。该包装器异步运行，在主要API响应返回后报告成本数据，确保报告机制的任何问题都不会影响应用程序的性能或正常运行时间。该工具专为那些重视API使用成本可见性但又不依赖关键路径代理的开发人员而设计，尽管它目前不支持流式响应。
-
Databricks AI Gateway 替代方案：TrueFoundry 领跑平台无关选项
Databricks Mosaic AI Gateway 为 Databricks 生态系统内访问 LLM 提供了一个统一的端点，提供速率限制和 PII 保护栏等功能。然而，跨多个云或 Databricks 外部运行的团队正在寻找提供平台无关性的替代方案。TrueFoundry 被列为首选替代方案，它提供了一个支持广泛 LLM、代理治理和深度可观测性的自托管网关。其他选项包括 LiteLLM，一个具有广泛模型覆盖的开源代理；以及 Po…
-
AI网关整合LLM访问、安全和成本控制 · 跟踪4个来源
AI网关正成为管理LLM交互的关键中间件，集中处理路由、安全和成本控制。这些平台旨在通过为不同的LLM提供商提供统一的API来简化开发，从而实现更轻松的模型切换并防止供应商锁定。关键评估标准包括治理范围、安全功能、可观测性、访问控制和部署灵活性，选项范围从基础设施优先的扩展到LLM原生解决方案。
-
Claude顶级MCP网关：TrueFoundry领先，Docker提供简洁方案
文章对用于Claude的MCP网关进行了排名，重点关注它们与Claude Code和Claude Desktop的特定功能（如托管设置和身份验证）的集成程度。TrueFoundry因其与Claude的托管设置、RBAC和审批网关的强大集成而排名第一。Docker的MCP网关被呈现为一个更简单、自托管的选项，适合个人开发者，而Solo.io的agentgateway和Portkey则为拥有现有Kubernetes基础设施或特定治理需求的…
-
Cursor Router 声称通过智能提示路由节省 60% 的成本
Cursor 推出了 Cursor Router，这是一个新的模型路由系统，旨在降低 AI 辅助编码的成本。该系统声称通过智能地将提示定向到能够处理任务的最具成本效益的模型，从而节省高达 60% 的成本。这得益于近期更便宜但仍然强大的 AI 模型取得的进展。然而，该路由器对提示进行分类的能力意味着它可以查看所有用户请求，从而引发了隐私担忧。
-
Cursor 将 AI 模型路由直接集成到其 IDE 中
Cursor 推出了 Cursor Router，这是一个旨在优化开发工作流程中 AI 模型使用的智能系统。此新功能会分析用户请求，并根据任务复杂性、成本和期望质量等因素，将其路由到最合适的 AI 模型。虽然与现有的模型路由服务类似，但 Cursor Router 直接集成到编码环境中的优势独特，可能会影响独立模型路由产品的市场。
-
金融科技开发者构建自定义LLM网关以保护AWS Bedrock访问
一家金融科技公司的开发人员构建了一个自定义LLM网关，以管理内部对AWS Bedrock的访问，避免了直接分发AWS凭证的风险。该网关向团队发放唯一密钥，允许对模型访问和令牌预算进行细粒度控制。这种方法将敏感数据保留在公司网络内，并为财务报告提供清晰的使用跟踪，解决了直接IAM凭证分发和共享密钥的局限性。
-
LiteLLM替代方案提供高级治理和性能
LiteLLM是一个流行的开源工具，用于管理LLM提供商，但它缺乏像RBAC和预算执行这样的高级治理功能。TrueFoundry提供了一个具有这些功能的托管解决方案，适用于需要强大控制的组织。Portkey已将其网关开源，提供类似的治理功能，尽管其被Palo Alto Networks收购的交易带来了不确定性。Bifrost等其他替代方案侧重于原始性能，而Cloudflare AI Gateway为现有的Cloudflare用户提供了…