OWASP LLM Top 10
PulseAugur coverage of OWASP LLM Top 10 — every cluster mentioning OWASP LLM Top 10 across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
开发者将 mcp.json 配置错误映射到 OWASP MCP Top 10
一位开发者创建了一个将 MCP 服务器清单（mcp.json）中常见的配置错误映射到 OWASP MCP Top 10 安全类别的工具。此映射包含 OWASP LLM Top 10 的类别，旨在帮助审计人员和开发者识别其配置中潜在的安全问题。分析是静态进行的，无需连接实时服务器，并涵盖了仅从清单数据即可检测到的 MCP01 到 MCP06 等特定类别。
-
比较开源工具用于代理安全扫描
对三个开源工具进行比较，用于扫描代理配置中的安全风险，如提示注入和供应链攻击，揭示了各自的优势和劣势。Cisco 的 mcp-scanner 功能最全，包括 YARA 匹配、LLM 分析和依赖项审计，但需要复杂的 API 密钥配置。Snyk Agent Scan 在跨各种代理和 IDE 进行广泛的自动发现方面表现出色，但需要 Snyk 账户并将数据发送到 Snyk 的托管 API。sentinel-scan-cli 工具专为简单性和离…
-
新型扫描器无需网络即可检测10种MCP清单安全风险
一款名为sentinel-scan-cli的新型静态扫描器已被开发出来，用于识别Machine Configuration Protocol (MCP)清单中潜在的安全漏洞。该扫描器采用十种启发式方法来检测提示注入、工具影射、过度代理、未固定远程源和硬编码凭证等问题。它在不访问网络或服务器进程的情况下运行，专注于清单本身的模式匹配和模式验证。
-
新指南将 sentinel-scan-cli 集成到 CI 中以捕获 LLM 提示注入
一篇新指南详细介绍了如何将 sentinel-scan-cli 工具集成到 GitHub Actions 和 pre-commit 中，以捕获提示注入和工具投毒漏洞。该帖子强调了 CLI 中存在一个漏洞，即即使发现关键漏洞，它也会以成功代码退出。为解决此问题，提供了一个 Python 脚本，该脚本解析扫描的 JSON 输出，并在满足特定漏洞阈值时使 CI 构建失败，从而确保安全问题不会被忽视。
-
Red Hat、NVIDIA、IBM 推出开源项目，以自动化 AI 策略到代码的流程
Red Hat 推出了 asago，一个旨在将 AI 治理策略转化为可执行代码的开源项目。该项目得到了 NVIDIA、IBM、Microsoft 等公司的支持，自动化了将策略映射到 NIST AI RMF 和欧盟 AI 法案等风险框架的过程。该项目通过风险映射、基于场景的测试和缓解建议进行推进，最终为混合云和 Kubernetes 环境生成可部署的配置。目标是显著缩短从策略定义到实施控制的时间，确保 AI 系统的持续可审计性和合规性。
-
AI 代理：控制故障影响范围，而非阻止所有错误
文章讨论了管理 AI 代理故障的策略，强调阻止所有错误是不可能的。相反，开发者应通过限制代理的权限和能力以匹配其已证实的可靠性，来专注于控制代理错误的“影响范围”。为代价高昂或不可逆的操作实施人工审核系统，确保故障可见且可逆，并记录操作以供追溯，是安全部署 AI 代理的关键。
-
Humanbound 将 AI 安全测试集成到开发人员工作流程中
Humanbound 推出了一个新的命令行界面 (CLI) 工具，旨在将 AI 安全测试直接集成到开发人员工作流程中。该工具通过允许安全工程师在现有的编码环境中（例如 Claude Code）通过对话式命令启动和管理测试，从而消除上下文切换的摩擦。该系统支持各种测试类别和语言，能够在不离开终端的情况下进行快速安全评估。
-
专家警告：本地 LLM 可确保数据隐私，但不能确保代理安全
在本地运行大型语言模型在数据主权方面具有显著优势，可确保敏感信息保留在组织的架构内。这对于遵守欧盟人工智能法案等法规以及金融监管局 (FINRA)、美国食品药品监督管理局 (FDA) 和货币监理署 (OCC) 等机构的行业特定规则至关重要。然而，本地部署本身并不能增强针对提示注入或权限提升等行为风险的安全性，这些是独立于模型位置的架构问题。组织必须仔细评估代理将执行的具体任务，区分安全、有限的操作和风险更高、不受限制的操作，而不是仅仅…
-
OWASP 发布 AI Agent 的十大安全风险
OWASP Gen AI 安全项目发布了 Agentic Applications Top 10，这是一个专门为执行多步操作的 AI Agent 设计的新安全风险框架。该列表由 100 多名行业研究人员开发，解决了之前为单次模型调用设计的 OWASP LLM Top 10 的局限性。新的框架（编号 ASI01-ASI10）区分了目标劫持、工具滥用和不安全的代码执行等风险，这些风险在信任边界被多次穿越的 Agentic 系统中至关重要。
-
开发者构建本地扫描器以检测 AI 工具中的恶意代码
一位开发者创建了一个名为 frisk 的基于 Python 的工具，用于在安装前扫描 MCP 服务器和 Claude Code 技能中的恶意代码。该扫描器在本地运行，可识别潜在的有害模式，例如直接将命令管道传输到 shell、尝试访问 SSH 密钥或云凭据等敏感文件、破坏性命令以及提示注入漏洞。Frisk 还提供了一个“锁定”功能，用于检测已批准的工具安装后是否被篡改，并可以以 SARIF 格式输出结果，以便与安全工具集成。
-
开发者审计 TypeScript 代理管道以应对 OWASP LLM Top 10 风险
一位开发者审计了他们的 TypeScript 代理管道以应对 OWASP LLM Top 10 风险，发现了提示注入和不安全输出处理方面存在的重大漏洞。审计显示，外部工具的输出在未经适当清理的情况下直接注入到模型的上下文中，从而存在覆盖系统提示的风险。为解决此问题，开发者对传入数据实施了使用 Zod 的结构化验证，并在模型输出到达 UI 之前对其进行了显式清理，从而缓解了潜在的跨站脚本 (XSS) 问题。
-
AI智能体从理论走向混乱的现实，亟需治理
AI智能体革命正迅速从理论概念转向企业的运营现实，Workday等公司正在开发治理工具和安全标准。虽然多模态AI能力在学术界加速发展，并且像Google的Gemma 4 12B这样的新模型支持本地推理，但AI智能体在商业功能中的实际部署正产生从出色到混乱的混合结果。本地推理的趋势受到经济因素和延迟降低的驱动，NVIDIA的RTX Spark等新硬件支持了这一转变，表明智能体治理和多模态能力正成为企业必不可少的部分。
-
开发者发布 AI 代理网关生产就绪性扫描器
一位开发者创建了一个名为 `mcp-gateway-scan` 的只读扫描器，用于评估 MCP (Metaflow Control Plane) 代理网关的生产就绪性。该工具分析七个关键维度，包括工具访问、故障关闭行为、入职流程、可观测性、多 LLM 路由、Secrets 管理以及通用的生产就绪性功能。它旨在识别代理从开发环境迁移到生产环境时出现的常见安全和操作差距，并参考了 MCP 安全指南和 OWASP LLM Top 10 的最佳实践。
-
新索引将GenAI安全事件映射到OWASP和MITRE框架
一个新的索引目录了公开披露的与生成式AI和代理式AI系统相关的安全事件。每个事件都与已建立的安全框架（如OWASP LLM Top 10、OWASP Agentic Top 10、NIST AI RMF和MITRE ATLAS）进行交叉引用。该资源旨在提供AI特定安全漏洞和威胁的结构化概述。
-
新研究表明，大型语言模型防御在应对释义攻击方面的有效性各不相同
一篇新的研究论文探讨了不同的防御机制对常见大型语言模型漏洞的有效性。研究发现，虽然拒绝短语过滤器对越狱和系统提示泄露有效，但它们很脆弱，并且可以通过释义攻击来规避。另一方面，预算控制在应对释义攻击方面更具弹性，并能有效缓解敏感信息泄露和无界消耗威胁。
-
ITTE推出开源AI风险门禁，用于CI/CD
ITTE（Iterative Threat & Trust Evaluator）是一款新推出的开源工具，旨在作为CI/CD流水线中的自托管AI风险评估系统。它通过提供一个本地、自进化的解决方案来解决传统护栏的挑战，在变更合并前对其进行评分。ITTE利用持久化向量记忆，并可选择运行本地LLM，提供内置的合规模板，以应对如欧盟AI法案和OWASP LLM Top 10等法规。
-
STRIDE-GPT 工具对 AI 应用威胁进行建模，记录上下文，限制令牌
STRIDE-GPT 是一款开源工具，旨在通过分析架构描述来为 AI 应用生成 STRIDE 威胁模型。它强调将 LLM 特定的资产，如系统提示、RAG 文档和代理推理链，作为威胁建模过程中的一等组件来处理。该工具需要详细的架构描述，包括组件、数据流和信任边界，才能生成有效的安全模型。此外，它还强调了全面日志记录对于事后重建的重要性，并提出了分层速率限制策略以防止令牌耗尽攻击。
-
大型语言模型通过分词、嵌入和注意力机制处理问题
像ChatGPT、Gemini和Microsoft Copilot这样的大型语言模型通过一系列步骤处理用户问题，首先进行分词（tokenization），然后将这些词元（tokens）转换为代表其含义的数值嵌入（embeddings）。添加位置编码（positional encoding）以保持词序，接着是自注意力机制（self-attention mechanism），它允许词语理解它们在句子中的上下文。这个过程通过多头注意力（mu…