LiteLLM
PulseAugur coverage of LiteLLM — every cluster mentioning LiteLLM across labs, papers, and developer communities, ranked by signal.
- developed Nexus Labs 90%
- developed BerriAI 90%
- other CVE-2026-59822 90%
- used by VictoriaMetrics 90%
- used by sk-1234 90%
- competes with NeuralBridge 80%
- used by Bifröst 70%
- competes with Bifröst 70%
- competes with Helicone 70%
- instance of Cloudflare AI Gateway 70%
- used by Nexus Labs 70%
- used by Helicone 70%
- 2026-10-03 controversy A critical security vulnerability was disclosed in LiteLLM, an AI gateway, that allows for account takeover. 来源
- 2026-09-17 controversy LiteLLM's MCP gateway and guardrails feature were found to have critical vulnerabilities allowing authentication bypass and remote code execution. 来源
- 2026-09-13 controversy A security vulnerability was found in LiteLLM where exposed gateways accepted a default admin key. 来源
- 2026-09-11 product_launch LiteLLM introduced custom callbacks and LLM evaluations. 来源
- 2026-09-09 product_launch LiteLLM introduced a custom callback feature for traffic mirroring and OpenTelemetry tracing. 来源
- 2026-09-06 product_launch LiteLLM released version 1.100.0 with cosign-signed Docker images. 来源
- 2026-09-06 product_launch LiteLLM released version 1.100.0 with cosign-signed Docker images. 来源
- 2026-09-01 controversy TeamPCP compromised LiteLLM, leading to data theft and infection of AI development pipelines. 来源
- 2026-08-24 hiring LiteLLM is hiring Rust and performance engineers to improve its LLM integration platform. 来源
- 2026-08-21 product_launch LiteLLM launched new features including traffic mirroring and batch completions. 来源
- 2026-08-15 controversy A security vulnerability in LiteLLM exposed credentials for over 2,500 organizations. 来源
- 2026-08-13 controversy A supply chain attack on LiteLLM exposed sensitive credentials from over 2,400 organizations. 来源
- 2026-08-13 controversy A supply chain attack on LiteLLM exposed credentials from over 2,500 organizations. 来源
- 2026-08-12 controversy A supply-chain attack on the AI development tool LiteLLM exposed terabytes of sensitive credentials from thousands of organizations. 来源
- 2026-08-12 controversy A supply-chain attack on the AI development tool LiteLLM resulted in the exposure of terabytes of sensitive credentials from approximately 2,500 organizations. 来源
14 天有情绪数据
-
LLM代理:字节忠实直通优于代理的协议转换
作者反对在LLM代理架构中使用通用的协议规范化,认为这在处理复杂的工具调用代理时存在实际的失败案例。与其在OpenAI和Anthropic等不同API模式之间进行转换,不如提出“字节忠实直通”的解决方案,该方案保持严格的协议隔离。这种方法可以防止数据损坏,并确保对高级推理模型至关重要的深度嵌套JSON模式和结构化思维签名的完整性。
-
AI网关整合企业LLM访问 · 跟踪2个来源
AI网关作为关键的基础设施层,通过单一API整合了对多个大型语言模型提供商的访问。这种集中化通过管理路由、故障转移、预算跟踪和日志记录,简化了应用程序的集成,避免了单独集成各个提供商的需要。Maxim AI开发的开源网关Bifrost因其性能和企业就绪性而受到关注,而Cloudflare AI Gateway和Vercel AI Gateway等托管服务则适用于已经在使用这些生态系统的团队。其他选项包括用于自托管Python解决方案的…
-
System 1 模型通过模型路由提供更快、更便宜的 AI 替代方案
一种名为 System 1 模型的新方法旨在提供比前沿 AI 模型更快、更具成本效益的替代方案。该系统集成了多个较小的模型,包括 Jev、Laya、Kev 和 Nimble,并利用路由器为给定任务选择最合适的模型。概念验证展示了该路由器通过 LiteLLM 代理路由请求。
-
MCP Atlassian 漏洞允许操作员凭据回退
在 MCP Atlassian 的 0.22.0 及更早版本中发现了一个安全漏洞。当通过 HTTP 发出未经验证身份的请求时,系统会默认使用操作员的 Jira 和 Confluence 凭据。这种回退机制允许未经授权的用户以操作员的权限访问这些工具。MCP 及其工具中的其他几个相关漏洞也已被报告,其中一些已被添加到已知漏洞利用目录中。
-
MCP SDK 易受凭证窃取攻击;补丁需要显式发行者固定
Minecraft Control Protocol (MCP) SDK 中的一个关键漏洞允许恶意服务器拦截 OAuth 凭证。Cycode 和 WorkOS 报告的该问题源于 SDK 未能验证 OAuth 发行者,使攻击者能够欺骗客户端发送敏感信息,如客户端密钥。虽然 MCP Python 和 Rust SDK 已存在补丁,但仅升级是不够的;用户必须显式配置受信任的发行者以防止被利用。一个概念验证客户端演示了此漏洞,突显了客户端在共…
-
开放权重AI模型提供主权和效率,克服了过去的局限性
作者此前因担心质量、能耗和公司依赖性而避开AI。然而,像Qwen3.8这样的自托管、开放权重模型的出现改变了这一看法,它们提供了适合代理工作流的主权和成本效益。OpenWebUI、LiteLLM和OpenCode等工具进一步增强了这些开放AI解决方案的可用性和灵活性。
-
四台 MCP 服务器存在未经身份验证的 CVE;mcp-atlassian 发现 29 个漏洞
本周,发现了四台不同的模型上下文协议 (MCP) 服务器存在关键的未经身份验证的漏洞,允许未经授权访问敏感数据和系统功能。这些问题,包括一台可以上传任何文件的 GitLab 服务器和一台存在逃逸漏洞的 IBM 沙箱,在 48 小时内由国家漏洞数据库 (NVD) 公布。此外,一个独立的 Python 包 mcp-atlassian 有 29 条 CVE 记录被公布,涉及类似的严重安全漏洞,包括反复出现的 DNS 重绑定漏洞,该漏洞允许访…
-
LiteLLM 严重漏洞允许通过 JWT 绕过进行账户接管
LiteLLM,一款 AI 网关软件,已发现一个严重的安全漏洞,编号为 CVE-2026-93355。该漏洞允许攻击者利用 JWT 身份验证的回退机制来接管账户,包括管理员账户。通过提供一个带有未经验证的电子邮件声明的 JWT,攻击者可以绕过身份验证,冒充任何用户,从而可能获得对敏感 API 密钥和组织数据的访问权限。
-
AI代理框架在工具输出计数方面存在错误
对Strands、LangGraph和CrewAI三个AI代理框架的比较分析显示,它们在处理工具输出(特别是计数项目)时存在差异。在对同一模型和任务进行的408次记录运行中,这些框架表现出不同的行为,其中一些模型将项目ID计数错误一到两次。研究发现,当工具只提供ID列表时,模型的计数通常不准确,而预先在工具中计算计数则能带来更正确的响应。值得注意的是,一个框架在遇到大型数据集时始终无法生成输出,达到了完成上限。
-
2026年排名前五的企业级AI网关:Bifrost、Kong、LiteLLM、Cloudflare、Vercel
一篇文章比较了2026年五款企业级AI网关,评估它们在生产环境中管理LLM流量的适用性。这些网关根据部署选项、许可成本、治理功能、可靠性、成本控制以及对代理工具调用的支持进行评估。Bifrost因其自托管性能和治理能力而受到关注,Kong AI Gateway因与现有API管理的集成而受到关注,LiteLLM因其在Python中广泛的提供商覆盖范围而受到关注,Cloudflare AI Gateway因其边缘可观测性和简化的账单而受到…
-
Kubernetes 上的 AI 代理在凭证和出口控制方面面临安全漏洞
在 Kubernetes 上运行的 AI 代理面临严峻的安全挑战,尤其是在凭证管理和出口控制方面。一项关键发现是,旨在限制代理访问的控制措施常常失效,因为它们依赖于代理可以操纵的输入,或者在代理自己的进程内运行。例如,即使有严格的 Pod 安全标准,代理仍然可以访问敏感的环境变量,如 LLM API 密钥。有效的安全措施包括外部化凭证,例如使用代理网关附加提供商凭证,并实施严格的出口控制,这些控制决定目标而不是仅仅是请求。工作负载身份…
-
在 n8n 中构建具有故障转移层级的弹性多模型 AI 路由器
本指南详细介绍了如何使用 n8n 构建一个弹性、多模型的 AI 路由器,旨在防止停机并优化成本。该系统将请求从 Claude 3.5 Sonnet 等主模型级联到 GPT-4o 等辅助模型,再到 DeepSeek V3 或 Llama 3.3 等第三级选项,即使在 API 发生中断或费率飙升时也能确保持续运行。主要功能包括严格的执行超时、跨不同模型的标准化输出模式以及对关键故障的自动警报,所有这些都在 n8n 自动化平台内进行管理,无…
-
模型路由工具将AI推理成本降低高达70% · 跟踪1个来源
生产AI团队越来越多地采用模型路由工具来优化LLM使用,将提示定向到针对特定任务最具成本效益和最低延迟的模型。这些工具可以将推理成本降低30%至70%,并提供针对供应商中断的弹性。Bifrost因其低延迟和全面的治理功能而被重点介绍为顶级企业选择,而LiteLLM和OpenRouter等其他工具在自托管和托管市场方面提供了不同的权衡。
-
LiteLLM网关存在认证绕过、RCE漏洞;与Qilin组织有关联
LiteLLM的模型上下文协议(MCP)网关存在一个关键漏洞(CVE-2026-59822),攻击者仅需一个字符的Bearer Token即可绕过身份验证。此漏洞源于一个“容错开启”的错误处理程序,允许攻击者未经授权访问连接的工具和敏感数据。攻击者利用此绕过漏洞结合命令注入缺陷(CVE-2026-42271)执行任意代码,部分活动与Qilin勒索软件组织有关。此外,LiteLLM的自定义guardrails功能中还发现了一个独立的远程…
-
关键的LiteLLM漏洞使AI网关暴露给攻击者
在LiteLLM 1.84.0之前的版本中发现了一个关键的身份验证绕过漏洞,CVE-2026-59822。此漏洞允许未经身份验证的攻击者利用MCP Streamable HTTP端点,从而能够列出和调用已配置的MCP工具。该漏洞尤为严重,因为LiteLLM网关通常是API密钥和敏感内部资源访问的中央枢纽,使其成为攻击者的主要目标。安全研究人员已将此绕过以及其他漏洞与Qilin勒索软件等组织的复杂攻击联系起来,凸显了对自托管AI基础设施…
-
LiteLLM 集成 VictoriaMetrics 以进行 AI 成本监控
本文详细介绍了如何使用 LiteLLM 来监控和调试 AI 成本,特别是通过与 VictoriaMetrics 集成。作者分享了一个案例研究,展示了这些工具在管理大型语言模型相关费用方面的实际应用。
-
在提供商复杂性日益增加的背景下,LLM网关成为AI应用的必需品
AI应用程序开发格局正转向对LLM网关的必需性,LLM网关充当管理与多个AI模型提供商交互的中央代理。这些网关提供了统一的API端点、简化的密钥和账单管理以及智能路由以优化成本、弹性和质量等好处。该领域的成熟参与者包括LiteLLM等自托管选项、OpenRouter等托管聚合器以及Portkey和Braintrust等专注于可观测性的平台。然而,开发人员必须意识到“提供商抽象差距”,即基础设施、推理引擎和量化技术的差异可能导致显著的性…
-
MCP stdio 启动边界中的安全漏洞允许未经授权的服务器执行
一项安全分析强调了 MCP stdio 启动边界中关键的授权缺陷,认为当前的安保措施侧重于工具调用授权,而非初始服务器启动。作者指出,在 CVE-2026-46519 和 CVE-2026-85660 等多个 CVE 中,访问控制机制被绕过,因为在任何工具特定的授权应用之前就发生了以主机权限启动服务器进程的决策。这使得受损的配置或恶意输入可能导致任意 shell 执行,即使下游开发者本应处理清理工作。
-
LLMeter CLI 衡量本地硬件上的 LLM 性能
LLMeter 是一款新的命令行界面工具,旨在衡量大型语言模型 (LLM) 在用户特定硬件和配置上的性能。与在优化过的远程机器上测试模型的传统排行榜不同,LLMeter 侧重于实际运行环境,考虑了量化、提供商软件(例如 Ollama、LM Studio)和硬件特定因素。它提供了用于聊天生成、响应一致性、计时、结构化输出和工具调用的各种基准测试,并为调整部署提供了额外的性能配置文件。
-
新的Java库Franca旨在重塑服务器端Agent开发
一个名为Franca的新开源Java库已发布,旨在弥补Agent开发中的一个空白,特别是Agent协议的服务器端实现。虽然像OpenAI Responses和Anthropic Messages这样的客户端协议已经定义得很完善,但服务器端的执行和数据处理仍然不清楚。Franca旨在通过在其自身服务中终止这些协议,为开发人员提供服务器端开发界面,从而更好地控制应用程序逻辑和数据治理。