LiteLLM
PulseAugur coverage of LiteLLM — every cluster mentioning LiteLLM across labs, papers, and developer communities, ranked by signal.
- developed Nexus Labs 90%
- developed BerriAI 90%
- used by VictoriaMetrics 90%
- used by CVE-2026-42271 90%
- competes with NeuralBridge 80%
- competes with Portkey 70%
- competes with Bifröst 70%
- uses Bifröst 70%
- used by Bifröst 70%
- competes with Helicone 70%
- competes with Cloudflare AI Gateway 70%
- instance of Cloudflare AI Gateway 70%
- 2026-08-21 product_launch LiteLLM launched new features including traffic mirroring and batch completions. 来源
- 2026-08-15 controversy A security vulnerability in LiteLLM exposed credentials for over 2,500 organizations. 来源
- 2026-08-13 controversy A supply chain attack on LiteLLM exposed credentials from over 2,500 organizations. 来源
- 2026-08-13 controversy A supply chain attack on LiteLLM exposed sensitive credentials from over 2,400 organizations. 来源
- 2026-08-12 controversy A supply-chain attack on LiteLLM exposed terabytes of credentials from over 2,500 organizations. 来源
- 2026-08-12 controversy A supply-chain attack on the AI development tool LiteLLM resulted in the exposure of terabytes of sensitive credentials from approximately 2,500 organizations. 来源
- 2026-08-12 controversy A supply-chain attack on the AI development tool LiteLLM exposed terabytes of sensitive credentials from thousands of organizations. 来源
- 2026-07-22 controversy TeamPCP compromised LiteLLM, leading to data theft and credential exposure. 来源
- 2026-07-12 product_launch LiteLLM released version 1.92.0, which includes signed Docker images for improved security. 来源
- 2026-07-04 controversy TeamPCP compromised LiteLLM, leading to data theft and infection of AI development pipelines. 来源
- 2026-07-04 controversy LiteLLM was compromised in a supply chain attack by TeamPCP, resulting in data theft and pipeline infections. 来源
- 2026-05-22 controversy LiteLLM was compromised in a supply chain attack, leading to data theft and credential exposure. 来源
- 2026-05-11 controversy A critical pre-authentication SQL injection vulnerability in LiteLLM is being actively exploited. 来源
- 2026-04-30 controversy TeamPCP compromised LiteLLM, leading to data theft and credential exposure.
27 天有情绪数据
-
新的 WordPress 插件连接到 LiteLLM 代理以支持自托管 AI 模型
已开发一款 WordPress 插件，可将通过 LiteLLM 代理管理的自托管 AI 模型集成到 WordPress 7.x 的 AI 功能中。该插件允许用户连接到各种本地 LLM 提供商，例如 Ollama，并提供增加的超时设置，以适应自托管模型较慢的响应时间。此解决方案旨在为不同的 AI 模型提供统一的端点，并在 WordPress 环境中监控其使用情况。
-
Agent Gateway 概念出现，旨在统一 LLM 和工具调用
“Agent Gateway”的概念被提出，作为与标准 LLM 代理不同的解决方案，专注于以一致的身份、审计和策略控制来支持代理调用工具。与 LiteLLM 等聚合了众多提供商的代理不同，Agent Gateway 旨在将模型调用和工具使用统一在一个控制平面下。这种方法确保在到达外部供应商之前强制执行预算和速率限制，并支持自托管以增强数据边界安全性。TrustGate 被展示为这一 Agent Gateway 概念的开源实现，由 Ne…
-
AuthLM 为 AI 提供商开源凭证管理
AuthLM 是一款新推出的开源工具，旨在处理管理各种 AI 提供商的身份验证凭证的复杂性。它专注于安全地存储和验证 API 密钥和令牌，抽象化了诸如刷新令牌轮换和操作系统级别凭证管理等繁琐且易出错的方面。通过将身份验证问题与模型路由和推理逻辑分开，AuthLM 旨在简化 AI 应用程序的开发工作流程，使开发人员能够与 LiteLLM 或直接 SDK 等现有工具集成。
-
LiteLLM 增加了流量镜像和批量完成功能，支持多提供商 LLM 访问
LiteLLM 推出了包括流量镜像和批量完成在内的新功能。这些更新允许用户同时向多个 LLM 提供商发送请求，增强了灵活性并可能优化成本。该平台现在支持将流量路由到两个提供商，从而实现 A/B 测试或故障转移场景。
-
LLM JSON 提取超时通过分块和重新排序得到修复
从长文档（如通话记录或发票）中提取结构化数据（如 JSON）通常会导致令牌限制和处理时间过长而超时。开发人员可以通过实施分块策略来解决此问题，即将文档划分为更小、可管理的部分。这种方法结合令牌计数和可能的重排相关段落，确保请求在模型限制范围内，并提高了 JSON 提取的可靠性，允许部分结果和更轻松的模型替换。
-
CrewAI 框架用 Go 重写以提高性能
一位开发者创建了 CrewAI 框架的 Go 实现，名为 crewai-go，旨在提供比 Python 版本更高效、更轻量级的替代方案。此新实现利用 Go 的标准库实现核心功能，从而实现单一二进制文件部署、更快的冷启动和更小的内存占用。该项目旨在提供与 CrewAI 相同的基于代理的协作概念，但具有 Go 的性能优势，包括网页搜索、结构化输出和代理循环等功能。
-
通过 Trivy 和 LiteLLM 的供应链攻击暴露 2,500 多个组织
一项复杂的供应链攻击已被揭露，其中威胁行为者 TeamPCP 和 UNC6780 损害了 Trivy 漏洞扫描器。此次损害使他们能够将恶意代码注入 Python 包索引 (PyPI) 上的 LiteLLM 包。此次攻击导致六起企业泄露事件，并暴露了超过 2,500 个组织的 CI/CD 凭证。
-
Ornith-1.0：新型开源编码模型面临集成障碍
Ornith-1.0 是一个新推出的开源权重编码模型，其独特之处在于它在训练过程中学会构建自己的问题解决框架，而不是依赖于预先存在的框架。尽管其参数量为 9B，但它表现出强大的性能，在编码基准测试中可与 Gemma4-31B 等更大模型相媲美甚至超越。然而，用户在将其与 Ollama 等工具集成时遇到了挑战，这主要是由于模板元数据和模型用于工具调用的输出格式存在问题，需要手动配置才能正常运行。
-
六种提示优化框架的有效性对比
最近的一项分析比较了六种提示优化框架：DSPy、GEPA、TextGrad、agent-opt、Arize Prompt Learning 和 MLflow 的优化器。研究发现，这些框架不能互换使用，因为它们代表了从完整编程模型到单一算法和平台功能的各种不同方法。有效性的关键区别在于能否针对用户自己的数据集上的特定指标进行优化，而易于更换搜索算法是一个重要因素。
-
技术深度探讨涵盖Ruby、AI和安全主题
本周的博文涵盖了广泛的技术主题，包括Ruby哈希的优化以及对类似SolidObjects的状态原语的探索。作者还讨论了针对LiteLLM的供应链攻击、QR码的鲁棒性以及贝塞尔曲线的改进。此外，该帖子还涉及Sonic Pi 5。
-
Go语言构建的LLM代理VMR简化了编码代理连接
一款名为VMR的新LLM代理已被开发出来，为编码代理提供极简、高效的连接。VMR使用Go语言构建，是一个单二进制应用程序，专为无人值守操作设计，注重可靠性和低开销。它旨在简化将代理流量路由到Anthropic和DeepSeek等各种LLM提供商的过程，并提供会话粘性缓存和字节级保真度等功能，以确保兼容性并降低成本。
-
Portkey开源AI网关，此时LiteLLM遭遇供应链攻击
2026年3月24日，LLM基础设施领域发生了两件大事：Portkey开源了其AI网关，包括治理和成本控制功能；同时LiteLLM披露了一起供应链攻击事件，该事件在短时间内影响了其在Python Package Index上的两个软件包。这些事件凸显了团队在管理应用程序与LLM提供商之间流量时面临的信任问题。由于模型快速发布、代理工作负载的复杂性以及提供商特定的速率限制和定价变化，选择使用市场、自托管代理还是供应商控制平面变得越来越重要。
-
LiteLLM 网络攻击使超过 2,500 家公司的数据面临风险
LiteLLM 遭受网络攻击，可能导致超过 2,500 家公司的数据泄露。此次攻击的目标是开源 LLM 应用框架，引发了对 AI 基础设施安全性的担忧。有关数据泄露程度和受影响公司的具体细节仍在披露中。
-
开发者通过代理将 Claude Code 路由到更便宜的 AI 模型
一位开发者详细介绍了一种在单个终端环境中将 Anthropic 的 Claude Code 路由到不同 AI 模型的方法。通过使用自托管的 LiteLLM 代理，开发者可以将需要高精度和仔细执行的任务定向到付费的 Claude Code 订阅，而不太关键的任务则被路由到更便宜的 DeepSeek V4 模型。此设置涉及配置环境变量，将 Claude Code 指向 LiteLLM 代理，然后由代理将请求翻译到相应的后端。
-
LiteLLM漏洞暴露了2500多家组织的凭证
LiteLLM（一个用于与大型语言模型交互的开源库）中的一个安全漏洞在3月份暴露了大约40分钟的凭证。此次暴露可能允许访问包括Microsoft、Amazon、Cisco、Samsung和Salesforce等主要科技公司在内的2500多家组织的敏感信息。
-
LLM成本跟踪工具和账单因缓存会计差异而常常不匹配
由于缓存令牌的会计方法不同、社区定价注册表的不精确性以及未跟踪的API调用仍会产生费用，因此在内部跟踪工具和提供商账单之间协调LLM成本具有挑战性。OpenAI和Anthropic等提供商在报告缓存使用方面有不同的方法，这可能导致成本计算出现差异。用于成本估算的工具通常依赖社区维护的定价数据，这些数据明确警告其不准确性，并且一种常见的启发式方法将10%以下的差异视为正常的舍入，从而掩盖了更大的问题。最终，最权威的数字来自直接向用户收费…
-
AI 网关：OpenRouter 收费，LiteLLM 提供开源替代方案
包括 OpenRouter、LiteLLM、Portkey 和 Helicone 在内的多个工具提供统一的 API 网关，用于管理多个大型语言模型提供商。随着应用程序越来越多地使用各种模型和代理框架，这些网关在成本控制、提供商故障转移和集中式可观察性方面变得至关重要。虽然 OpenRouter 作为一家收费的托管市场运营，但 LiteLLM 提供了一个开源解决方案，具有自托管代理选项和庞大的用户群。
-
LiteLLM供应链攻击暴露超2400家组织凭证 · 跟踪2个来源
针对LiteLLM软件的供应链攻击导致超过2400家组织的敏感凭证泄露。此次事件发生在3月份的40分钟内，影响了包括Microsoft、Amazon和Cisco在内的大公司。此次事件凸显了软件依赖性带来的重大安全风险，并强调了组织轮换受损密钥和加强其CI/CD安全实践的必要性。
-
LiteLLM 供应链攻击泄露了来自各大科技公司的数TB凭证
LiteLLM 在3月份的一次供应链攻击中，导致包括 Microsoft、Amazon、Cisco、Samsung 和 Salesforce 在内的主要科技公司的数TB凭证被泄露。攻击者利用了一个40分钟的窗口期，窃取了超过2500家组织的用户云密钥、代码库令牌、SSH密钥和AI提供商密钥。
-
LiteLLM AI供应链攻击泄露数TB凭证 · 追踪8个来源
一次针对开源AI开发工具LiteLLM的重大供应链攻击导致数TB敏感凭证暴露。从Python Package Index下载的受损LiteLLM版本包含恶意代码，该代码抓取并导出了包括云密钥、存储库令牌和AI提供商密钥在内的数据。此次泄露事件归咎于一个主要由青少年组成的团伙，影响了约2500个组织，包括Microsoft、Amazon、Cisco、Samsung和Salesforce等大型科技公司，影响了超过430,000个CI/CD管道。