PayPal 已开发并部署了 Cosmos LLM 网关，这是一个策略驱动的系统，旨在跨多个供应商管理大规模企业 AI 流量。该网关基于 Envoy 和 Rust WebAssembly 构建，负责处理身份验证、凭证代理和策略评估等任务，同时还管理令牌计量和提示缓存。它通过 Open Policy Agent 实现声明式治理，支持角色范围内的创作、审批和影子模式推出等功能。该系统还包括一个数据丢失防护层和用于预算管理的支出范围限定。截至 2026 年 9 月，该网关已支持超过 12,000 名开发人员和数百个业务用例，以高可用性处理约 2000 亿个令牌/日，跨越超过 100 个模型。 AI
影响 该系统展示了一种可扩展的方法来管理多样化的 LLM 供应商集成，这对于采用多模型策略的企业至关重要。
排序理由 该条目描述了一个用于管理 LLM 流量的特定系统（Cosmos LLM 网关）的设计和运行，并以论文形式呈现。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
