LLM Applications
PulseAugur coverage of LLM Applications — every cluster mentioning LLM Applications across labs, papers, and developer communities, ranked by signal.
-
AI代理通过MCP网关获得安全高效的工具访问权限 · 跟踪2个来源
MCP网关正成为AI代理的关键控制平面，解决了直接连接模型上下文协议（MCP）服务器所固有的安全和效率问题。这些网关充当管理身份验证、访问控制和流量监控的中心化层，可防止凭证泛滥并减少上下文窗口膨胀。Bifrost是一个用Go语言构建的开源网关，因其低延迟、统一的LLM路由以及诸如代码模式等高级功能而备受关注，该功能可将令牌消耗量减少90%以上。最佳网关提供细粒度治理、动态工具过滤和对企业合规至关重要的不可变审计日志。
-
OWASP LLM Top 10 风险排名与实际事件数据吻合度较低
arXiv 上的一项新分析通过将其专家驱动的风险排名与大规模真实 LLM 安全事件语料库进行比较，调查了 OWASP LLM 应用 Top 10 的鲁棒性。研究发现，专家排名与事件数据之间的一致性较弱，Cohen's \u03ba \u2248 0.20。尽管如此，专家排名被证明是鲁棒的，并且真实性检查表明与留出数据有很强的相关性。这项研究是两位工作组成员的探索性分析，不代表 OWASP 的官方发布。
-
Prompt Injection Attacks: The Top Vulnerability for LLMs Detailed
Prompt injection is identified as the primary vulnerability affecting large language models (LLMs), with real-world examples and technical breakdowns of attack vectors now available. These attacks, including direct and …
-
研究人员警告：系统提示并非 AI 代理的安全边界
大型语言模型中的系统提示并非可靠的安全边界，特别是对于能够执行操作的 AI 代理。研究人员强调，系统提示中的指令仅被模型视为普通文本，使其容易受到提示注入攻击，攻击者可以将恶意命令嵌入用户输入或文档中。这种漏洞在 AI 代理中被放大，因为它们可以执行具有合法权限的操作，从而导致“受骗代理人”问题，即攻击者的指令被代理执行。当代理结合了访问私有数据、暴露于不受信任的内容以及外部通信的能力时，危险尤为严重，形成了可能导致数据泄露的“致命三要素”。
-
提示注入：OWASP 评选的顶级 LLM 风险及防御策略
提示注入被 OWASP 列为 LLM 应用的首要风险，当不受信任的文本操纵模型执行非预期指令时发生。此漏洞可直接通过用户输入或间接通过网页或文档等摄入内容显现，对拥有工具访问权限的 AI 代理构成重大威胁。防御提示注入需要多层方法，包括隔离不受信任的输入、筛选输入和验证输出、限制工具权限以及在提示中避免敏感信息。