OWASP LLM Top 10
PulseAugur coverage of OWASP LLM Top 10 — every cluster mentioning OWASP LLM Top 10 across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
开发者构建本地扫描器以检测 AI 工具中的恶意代码
一位开发者创建了一个名为 frisk 的基于 Python 的工具，用于在安装前扫描 MCP 服务器和 Claude Code 技能中的恶意代码。该扫描器在本地运行，可识别潜在的有害模式，例如直接将命令管道传输到 shell、尝试访问 SSH 密钥或云凭据等敏感文件、破坏性命令以及提示注入漏洞。Frisk 还提供了一个“锁定”功能，用于检测已批准的工具安装后是否被篡改，并可以以 SARIF 格式输出结果，以便与安全工具集成。
-
开发者审计 TypeScript 代理管道以应对 OWASP LLM Top 10 风险
一位开发者审计了他们的 TypeScript 代理管道以应对 OWASP LLM Top 10 风险，发现了提示注入和不安全输出处理方面存在的重大漏洞。审计显示，外部工具的输出在未经适当清理的情况下直接注入到模型的上下文中，从而存在覆盖系统提示的风险。为解决此问题，开发者对传入数据实施了使用 Zod 的结构化验证，并在模型输出到达 UI 之前对其进行了显式清理，从而缓解了潜在的跨站脚本 (XSS) 问题。
-
AI智能体从理论走向混乱的现实，亟需治理
AI智能体革命正迅速从理论概念转向企业的运营现实，Workday等公司正在开发治理工具和安全标准。虽然多模态AI能力在学术界加速发展，并且像Google的Gemma 4 12B这样的新模型支持本地推理，但AI智能体在商业功能中的实际部署正产生从出色到混乱的混合结果。本地推理的趋势受到经济因素和延迟降低的驱动，NVIDIA的RTX Spark等新硬件支持了这一转变，表明智能体治理和多模态能力正成为企业必不可少的部分。
-
开发者发布 AI 代理网关生产就绪性扫描器
一位开发者创建了一个名为 `mcp-gateway-scan` 的只读扫描器，用于评估 MCP (Metaflow Control Plane) 代理网关的生产就绪性。该工具分析七个关键维度，包括工具访问、故障关闭行为、入职流程、可观测性、多 LLM 路由、Secrets 管理以及通用的生产就绪性功能。它旨在识别代理从开发环境迁移到生产环境时出现的常见安全和操作差距，并参考了 MCP 安全指南和 OWASP LLM Top 10 的最佳实践。
-
新索引将GenAI安全事件映射到OWASP和MITRE框架
一个新的索引目录了公开披露的与生成式AI和代理式AI系统相关的安全事件。每个事件都与已建立的安全框架（如OWASP LLM Top 10、OWASP Agentic Top 10、NIST AI RMF和MITRE ATLAS）进行交叉引用。该资源旨在提供AI特定安全漏洞和威胁的结构化概述。
-
新研究表明，大型语言模型防御在应对释义攻击方面的有效性各不相同
一篇新的研究论文探讨了不同的防御机制对常见大型语言模型漏洞的有效性。研究发现，虽然拒绝短语过滤器对越狱和系统提示泄露有效，但它们很脆弱，并且可以通过释义攻击来规避。另一方面，预算控制在应对释义攻击方面更具弹性，并能有效缓解敏感信息泄露和无界消耗威胁。
-
ITTE推出开源AI风险门禁，用于CI/CD
ITTE（Iterative Threat & Trust Evaluator）是一款新推出的开源工具，旨在作为CI/CD流水线中的自托管AI风险评估系统。它通过提供一个本地、自进化的解决方案来解决传统护栏的挑战，在变更合并前对其进行评分。ITTE利用持久化向量记忆，并可选择运行本地LLM，提供内置的合规模板，以应对如欧盟AI法案和OWASP LLM Top 10等法规。
-
STRIDE-GPT 工具对 AI 应用威胁进行建模，记录上下文，限制令牌
STRIDE-GPT 是一款开源工具，旨在通过分析架构描述来为 AI 应用生成 STRIDE 威胁模型。它强调将 LLM 特定的资产，如系统提示、RAG 文档和代理推理链，作为威胁建模过程中的一等组件来处理。该工具需要详细的架构描述，包括组件、数据流和信任边界，才能生成有效的安全模型。此外，它还强调了全面日志记录对于事后重建的重要性，并提出了分层速率限制策略以防止令牌耗尽攻击。
-
大型语言模型通过分词、嵌入和注意力机制处理问题
像ChatGPT、Gemini和Microsoft Copilot这样的大型语言模型通过一系列步骤处理用户问题，首先进行分词（tokenization），然后将这些词元（tokens）转换为代表其含义的数值嵌入（embeddings）。添加位置编码（positional encoding）以保持词序，接着是自注意力机制（self-attention mechanism），它允许词语理解它们在句子中的上下文。这个过程通过多头注意力（mu…