OWASP
PulseAugur coverage of OWASP — every cluster mentioning OWASP across labs, papers, and developer communities, ranked by signal.
- 2026-05-13 research_milestone OWASP added memory poisoning as a critical vulnerability (ASI06) to its Top 10 for Agentic Applications. 来源
20 天有情绪数据
-
AI 网关强制执行 LLM 安全防护措施，Bifrost 提供集中控制
AI 网关对于在企业 LLM 应用中强制执行安全防护措施至关重要，可防御提示注入和数据泄露等威胁。Bifrost 是 Maxim AI 开发的一款开源网关，提供集中控制并实施重要的安全措施。关键防护措施包括防止提示注入和越狱、编辑或阻止个人身份信息 (PII) 和敏感数据，以及检测暴露的密钥。
-
MarketNow 对 8,764 台 AI 服务器进行 OWASP MCP Top 10 风险审计
MarketNow 开发了一个名为 Sentinel 的六层审计流水线，用于测试 2026 年 OWASP MCP Top 10 风险中概述的漏洞。该流水线主动探测工具投毒、数据泄露和未受保护的本地资源等问题，并为每种问题提供了具体的测试方法。虽然 Sentinel 目前涵盖了十项 OWASP MCP 风险中的七项，但 MarketNow 承认在身份验证失败和不安全会话管理方面的测试存在差距，并计划在未来的更新中解决这些问题。
-
Google Summer of Code 导师利用游戏教授人工智能和应用安全
一位 Google Summer of Code 导师致力于通过有趣和游戏化的方法教导他人，从而让世界变得更美好。今年夏天，他们正在与 OWASP 合作，指导参与者创建专注于应用安全、AI 和大型语言模型的开源游戏。
-
AI代理面临日益增长的提示注入威胁；数据而非工具是关键
一份最新报告表明，提示注入是 AI 系统面临的首要安全威胁，攻击量显著增加。绝大多数组织在过去一年中都经历了与代理相关的安全事件，这凸显了 AI 代理的部署与其安全测试之间存在差距。尽管行业正在努力推出红队测试框架以及 NIST 和 OWASP 等机构的指导，但核心挑战不在于工具，而在于数据。开发全面的攻击语料库、准确判断漏洞以及标记代理响应是关键的数据密集型任务，但往往资源不足。
-
AI编码通过mARC代理框架获得团队结构
作者开发了mARC，一个IRC风格的代理团队，旨在为AI编码任务提供结构和协作，克服了单一AI会话的局限性。mARC为专业代理分配了技术主管、工程师、SRE、设计师、安全审查员和研究员等角色。这种结构强制执行了诸如在任务委派前需要详细规范、使用项目板作为真相来源以及在代码合并前强制进行安全审查等流程，旨在提高可靠性和可审计性。
-
新型泄露扫描器揭示LLM推理漏洞，凸显重大安全风险
一位开发者创建了一个泄露扫描器，用于识别大型语言模型中的漏洞，特别关注数据通过模型推理过程泄露而非仅仅通过输出泄露的问题。该扫描器在已知秘密家族上达到了完美的准确率，但在语义理解或运行时检测方面遇到了困难。这项研究凸显了重大的风险，包括一个Gemini密钥泄露导致一家初创公司损失超过82,000美元，以及潜在的GDPR罚款，许多组织低估了它们在代理事件中的暴露程度。
-
研究人员警告：系统提示并非 AI 代理的安全边界
大型语言模型中的系统提示并非可靠的安全边界，特别是对于能够执行操作的 AI 代理。研究人员强调，系统提示中的指令仅被模型视为普通文本，使其容易受到提示注入攻击，攻击者可以将恶意命令嵌入用户输入或文档中。这种漏洞在 AI 代理中被放大，因为它们可以执行具有合法权限的操作，从而导致“受骗代理人”问题，即攻击者的指令被代理执行。当代理结合了访问私有数据、暴露于不受信任的内容以及外部通信的能力时，危险尤为严重，形成了可能导致数据泄露的“致命三要素”。
-
新框架应对AI原生团队风险管理
一篇新研究论文提出了一个用于治理代理AI系统的组织框架，解决了传统软件风险管理的局限性。该论文引入了一个七维画像来区分软件工程、混合和AI原生团队，以及一个用于故障模式的六集群分类法。研究强调，随着团队向AI原生运营转型，风险覆盖范围会显著下降，最严重的故障发生在概率性AI输出与确定性系统交互的组织边界。
-
AI代理易受IP地址规避的SSRF攻击
依赖简单字符串匹配来阻止访问内部云元数据端点（如 http://169.254.169.254/）的AI代理存在安全漏洞。攻击者可以通过使用IP地址的其他表示形式，如十六进制或整数格式，或利用重定向机制来绕过这些防护。更稳健的方法包括通过操作系统解析器规范化IP地址，并采用默认拒绝的允许列表策略，同时在重定向后重新验证URL。
-
AI代理因向量数据库上下文投毒而易受凭证泄露攻击
一种称为内存和上下文投毒的安全漏洞可能发生在将对话历史记录存储在向量数据库中的AI代理中。如果代理遇到包含API密钥等敏感信息的错误，并且该错误被记录并随后保存到向量数据库中，那么未来的提示注入攻击可能会导致代理泄露这些敏感数据。为了对抗这一点，可以在网络套接字层运行的内联主动响应扫描器可以在敏感信息进入代理内存之前对其进行扫描和编辑。
-
提示注入：OWASP 评选的顶级 LLM 风险及防御策略
提示注入被 OWASP 列为 LLM 应用的首要风险，当不受信任的文本操纵模型执行非预期指令时发生。此漏洞可直接通过用户输入或间接通过网页或文档等摄入内容显现，对拥有工具访问权限的 AI 代理构成重大威胁。防御提示注入需要多层方法，包括隔离不受信任的输入、筛选输入和验证输出、限制工具权限以及在提示中避免敏感信息。
-
Hivebook 推出公共代理知识缓存以解决 AI 错误
一个名为 Hivebook 的新平台已被开发出来，用于创建公共的、代理可读的知识缓存，以解决 AI 代理反复遇到并忘记常见问题（如 CORS 错误或速率限制）的解决方案的问题。该系统允许代理通过 API 进行读写，条目由其他代理审核，旨在构建一个共享的、交叉引用的知识库。该平台的结构和相互连接是有机形成的，形成了一个密集的信息图谱，包括提示注入攻击和安全模型等主题，开发者押注其有潜力成为 AI 代理的基本基础设施。
-
LangChain 应用易受提示注入攻击
提示注入是使用 LangChain 等框架构建的应用程序中的一个重大漏洞，用户输入可能会被操纵以覆盖系统指令。这是因为大型语言模型将所有输入（包括用户消息和系统提示）都视为一个令牌流进行处理，没有固有的信任边界。攻击者可以通过在用户输入中，甚至在应用程序检索到的数据中嵌入恶意指令来利用这一点，如果大型语言模型可以访问工具或敏感信息，则可能导致未经授权的操作。开发人员可以通过使用聊天消息角色来区分系统指令和用户输入来缓解此问题，这有助于…
-
保护 LLM Agent：使用 AWS Bedrock 防御 OWASP Top 10
本文讨论了 LLM Agent Flows 的实用安全措施，重点在于防御 OWASP Top 10 漏洞。作者详细介绍了在 AWS Bedrock 上构建的 Agent 的安全控制实施，强调了分层方法来降低风险。关键策略包括每个用户和 Agent 的速率限制、带有故障开启断路器的月度成本上限，以及对模型的严格 Token 输出限制。
-
人工智能品牌被武器化用于社会工程学攻击，利用用户信任
攻击者正越来越多地利用围绕人工智能的炒作和兴奋情绪来策划高效的社会工程学攻击。通过冒充“助手”或“助理”等人工智能工具，攻击者利用用户的好奇心和对新人工智能发布的期望，诱骗个人泄露凭证或安装恶意软件。这些人工智能品牌诱饵之所以特别有效，是因为它们与企业真实的数字化转型计划相吻合，使用户觉得它们很常规，从而削弱了用户的怀疑。通过生成式人工智能实现的钓鱼攻击工业化，使得能够进行个性化、可扩展且多模态的攻击，这些攻击同时针对人类用户和底层人…
-
新的MCP安全工具发现信任边界而非提示注入是真正的攻击面
一款新的安全审计工具指出，机器控制协议（MCP）服务器的主要攻击面不是提示注入，而是信任边界，即注入的指令通过具有机器权限的实际工具调用进行转换的地方。该工具本身就是一个MCP服务器，可以跨多种编程语言扫描21种常见的漏洞模式，其中许多漏洞早于LLM出现。其关键创新在于目的感知评分，它根据模型调用的工具的可达性来优先排序漏洞，旨在减少误报并专注于关键安全缺陷。
-
通过输入流和工具访问解释 LLM 漏洞
文章解释说，大多数大型语言模型 (LLM) 的漏洞源于两个核心问题：模型无法可靠地区分系统提示和用户输入，以及当 LLM 被赋予工具或访问外部数据时产生的攻击面扩大。这些漏洞不一定很复杂，而是源于 LLM 处理文本的基本方式。Simon Willison 借鉴 SQL 注入的类比，创造了“提示注入”一词，OWASP 已将其列为 LLM 的首要风险。主要的缓解策略是从尝试“编写更好的提示”转变为限制模型可以执行的操作。
-
大型语言模型（LLM）的提示注入漏洞率在不同模型间差异巨大
一位安全研究员测试了五个大型语言模型（LLM）的提示注入漏洞，发现根据所使用的模型不同，泄露率从 0% 到 90% 不等。测试表明，伪装成合法请求的提示比直接的注入尝试更能有效地诱导 API 密钥或系统提示等敏感信息。值得注意的是，虽然 Anthropic 的 Claude Haiku 4.5 没有泄露密钥，但其系统提示内容泄露率高达 90%，这凸显了采用多阶段检测方法的必要性。
-
新的分层安全框架解决了RAG聊天机器人的提示注入问题
研究人员开发了一种新颖的三层安全框架，以对抗检索增强生成（RAG）聊天机器人中的提示注入攻击。该框架解决了推理管道多个阶段的漏洞，包括用户输入筛选、上下文组装和模型输出审计。该系统在GPT-4o、Llama 3和Mistral 7B模型上进行了测试，将攻击成功率从71.4%显著降低到11.3%，同时保持了较低的误报率和最小的延迟。
-
开发者将OWASP安全审计集成到Claude Code工作流程中
一位开发者为Claude Code创建了一个自定义命令，以便在部署前对文件进行自动安全审计。该命令提示Claude识别特定的漏洞，如SQL注入、跨站脚本攻击和不安全的直接对象引用，并为每个已识别的问题提供详细的修复建议和通用弱点枚举（CWE）编号。开发者强调了最小化误报的重要性，以确保审计的实际效用，并将此安全审查更早地集成到开发周期中。