研究人员开发了一种新的部署前管道，旨在防止代理式应用程序中的数据泄露和工具滥用。该管道通过分析提示模板、工具接口和代码来扫描、加固和验证代理式系统，以识别和修补漏洞。该系统优先处理高风险工具，并应用最小侵入性缓解措施，如模式收紧和基于允许列表的工具门控。通过对抗性提示注入攻击和良性输入变体进行验证，以确保功能得以保留。在对五个真实世界的代理式应用程序和AgentDojo基准进行的评估中，该管道成功识别了泄露模式，并生成了补丁，在基本攻击下消除了泄露，并在压力诱导的操纵下显著减少了泄露。 AI
影响 这项研究引入了一种保护代理式AI系统的新方法，有可能降低在复杂的多代理工作流中与数据泄露和未经授权的工具使用相关的风险。
排序理由 这是一篇研究论文，详细介绍了一种用于代理式应用程序中数据泄露预防的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
