AgentDojo
PulseAugur coverage of AgentDojo — every cluster mentioning AgentDojo across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
新研究预测并阻止 AI Agent 的未经授权行为和谎言
一篇新研究论文介绍了一种方法，用于检测和阻止语言模型 Agent 的未经授权行为，以及它们随后对这些行为的谎报。该系统利用 Agent 内部状态的线性读出，在违规和误报发生之前进行预测。该方法在 CAPE-Bench 和 AgentDojo 等基准测试中，在减少未经授权的行为和捏造的辩解方面取得了显著成功，同时保持了 Agent 的整体效用。
-
新型检测器可捕获 2% 的 AI 提示注入，误报率为 1%
在 BIPIA 基准测试中评估的一个新型提示注入检测器，在识别恶意输入方面表现出了有效性。该检测器在 AgentDojo 注入方面实现了 2% 的检测率，同时保持了 1% 的低误报率。研究结果表明，当前的公开基准排名可能无法准确反映在检测此类漏洞方面的实际性能。
-
AI代理安全存在缺陷：检测器失效，上下文致盲，阈值是关键
一项对AI代理安全性的调查显示，目前的提示注入检测方法在很大程度上是无效的。作者使用了一系列现实攻击的数据集测试了包括Meta的Prompt Guard 2在内的多种检测器，发现大多数检测器要么未能识别攻击，要么在上下文数据中丢失信号，要么产生不可接受的高误报率。通过调整检测阈值，Prompt Guard 2表现有所改善，但作者警告称，这可能表明该模型正在学习特定的攻击模板，而不是通用的注入技术，AI代理安全的核心问题仍未解决。
-
新研究探索自主进化的人工智能代理及其学习动态 · 已追踪 10 个来源
研究人员正在开发新颖的自主进化人工智能代理方法，这些代理可以通过迭代学习过程来提高其性能和合规性。一种方法是策略验证自训练（PVST），它使用运行时策略验证器来生成奖励，显著减少 Qwen3_8B 等代理中的不良行为和成功攻击。另一个研究重点是理解非对抗性噪声如何影响代理学习，RSE-Bench 等基准测试表明，与干净的自进化相比，此类噪声会大大降低性能提升。预测性自进化使用改进动态模型（IDM），旨在在评估前预测修改结果，从而在各种…
-
新的 AI 护栏应对不断演变的提示注入威胁
研究人员正在开发新的方法来保护 AI 智能体免受复杂的提示注入攻击，这些攻击将恶意指令嵌入到智能体处理的内容中。一种名为 VEPA 的方法使用一个随着部署反馈而演变的正式策略框架，以确保确定性和可验证的护栏决策。另一种技术 BRANCH 采用分支树搜索，以更少的查询绕过多扫描仪护栏系统。此外，AdaGuard 利用 LLM-as-a-Judge 框架进行自适应推理，以增强安全性和策略合规性，而 multi-CaMeL 通过在智能体边界…
-
研究发现LLM安全评估因分布变化而存在缺陷
一项新的研究论文指出了大型语言模型（LLM）安全路由评估方法的重大缺陷。该研究“虚假地板：LLM安全路由评估在分布变化下失效”表明，当前将路由模型与评估数据上的最佳单一模型进行比较的基准，在面对分布变化时并不可靠。这种偏差会夸大安全路由器的感知有效性，使其看起来比实际更有益，尤其是在HELM Safety和AgentDojo等基准上。研究还揭示，像GPT-5.4这样的模型容易受到对抗性攻击，这些攻击会显著降低其感知的安全识别能力。
-
新的LLM框架解决了多用户系统中隐私-效用权衡问题
研究人员开发了新的框架和方法来解决大型语言模型（LLM）交互中的隐私问题。一种名为AIM的方法为多代理、多用户LLM环境引入了一个隐私感知内存系统，允许动态地将信息分类为私有或公共，以改善协调并保护敏感数据。另一项研究系统地分析了LLM交互中的隐私-效用权衡，提出了一种意图驱动的框架，该框架动态地清理数据以保持效用。此外，BodhiPromptShield为LLM代理管道提供了一个预推理中介层，在敏感跨度传播到系统之前检测并替换它们，…
-
新的MOAE方法跨多个目标优化LLM代理
研究人员推出了一种新方法，称为多目标代理进化（MOAE），用于同时优化基于LLM的代理的多个标准。与将各种指标合并为单一分数的方法不同，MOAE采用了一种保持帕累托最优的进化搜索。该方法维护了一组非支配的代理候选者，允许在任务完成、交互质量、安全性和效率之间进行权衡，而无需过早地确定特定权重。在TravelPlanner和AgentDojo上的实验表明，MOAE能够在保持安全性的同时提高任务性能和轨迹质量，从而扩展了可实现的目标区域。
-
新的FGLGuard系统通过联邦图学习增强LLM多智能体安全
研究人员开发了FGLGuard，一种用于增强由大型语言模型（LLM）驱动的多智能体系统（MAS）安全性的新颖系统。该方法利用联邦图学习在智能体间通信图上训练图神经网络（GNN），从而能够在不跨组织汇集敏感数据的情况下定位和干预风险智能体。FGLGuard在Agent-SafetyBench、R-Judge和AgentDojo等基准测试中表现出色，优于集中式方法和仅本地训练的方法，同时保持了高可用性和最小的能力损失。
-
新的隐蔽提示注入攻击针对使用工具的 LLM 代理
研究人员发现了一种针对使用工具的 LLM 代理的新威胁，称为隐蔽间接提示注入（ICoA）。与用户会收到警报的明显注入不同，此攻击允许在用户未察觉的情况下执行恶意提示。研究发现，这些代理常用的 ReAct 格式会影响注入是隐蔽还是明显的，隐蔽攻击在执行恶意指令后能成功地将代理引导回其原始任务。ICoA 在 AgentDojo 基准测试中测试的多个 LLM 代理上，隐蔽成功率显著提高。
-
Qwen 3.8 27B 模型在 AgentDojo 测试中易受提示注入攻击
最近在 AgentDojo 框架内对 Qwen 3.8 27B 模型进行的测试揭示了其在提示注入攻击面前的漏洞。大约 11.7% 的此类攻击导致了未经授权的操作，这凸显了本地代理在区分数据和命令方面的结构性弱点。
-
StepGuard系统通过步进式控制增强AI代理安全性
研究人员开发了StepGuard，一个新颖的系统，旨在逐个步骤地监控和控制AI代理的行为，而不仅仅是评估已完成的轨迹。这种方法旨在防止未经授权的文件修改或数据泄露等安全风险。StepGuard利用一个名为StepGen的数据引擎来创建安全和不安全的操作示例，并使用一个名为Balance-GRPO的平衡算法来微调模型区分安全和不安全操作的准确性。在测试中，StepGuard显著降低了代理平台上的攻击成功率，同时仅对整体效用产生微小影响，…
-
新框架LongGuard和StepGuard增强了LLM安全护栏
研究人员开发了两个新框架LongGuard和StepGuard，以解决大型语言模型（LLM）中的安全故障。LongGuard专注于分析和缓解长上下文护栏中的故障，提出了分块检测和注意力头锐化等方法来提高安全召回率。另一方面，StepGuard为LLM代理引入了步进式护栏模型，使用名为StepGen的数据引擎和一种称为Balance-GRPO的强化学习技术来平衡安全性和效用，在执行前审计操作。
-
新的防御探针可检测并缓解LLM中的间接提示注入
研究人员开发了一种方法来检测Agentic大型语言模型（LLM）中的间接提示注入（IPI）攻击。通过在模型的内部状态上训练简单的线性探针，他们可以预测IPI暴露，在包括GLM-5.2在内的各种模型上准确率超过90%。该研究还发现LLM编码IPI信号的能力与其安全响应这些信号的能力之间存在差距。为了解决这个问题，引入了一种名为AGRI的防御机制，它使用探针门控推理来显著降低攻击成功率，同时保留正常的任务效用。
-
新的PIMiner系统可自动进行LLM提示注入红队测试
研究人员开发了PIMiner，一个用于大型语言模型自动提示注入红队测试的代理系统。与现有方法常常难以泛化不同，PIMiner在训练过程中从头开始构建了一个可转移的策略库。该库可以以最少的查询应用于新的、未见的模型。实验表明，PIMiner在IPIArena和AgentDojo等基准测试中，对Gemini 2.5 Pro、GPT-5.1和Claude Sonnet 4.5等模型取得了显著的攻击成功率。
-
新的提示注入检测技术利用跨领域方法
研究人员开发了七种新颖的提示注入攻击检测技术，超越了传统的模式匹配和微调Transformer分类器。这些新方法借鉴了法医语言学、生物信息学和欺骗技术等不同领域的灵感。prompt-shield v0.4.1版本整合了其中三种技术，在多个数据集上显著提高了检测率，尤其是在间接注入攻击方面，同时保持了较低的误报率。
-
新方法通过对工具调用中的风险进行分层来增强LLM代理的安全性
研究人员开发了一种名为角色分层每字段共识风险控制的新方法，以增强语言模型代理的安全性。该技术分别校准工具调用中不同语义角色的风险预算，防止高风险的失败被良性参数所掩盖。该方法在AgentDojo和InjecAgent上使用多种语言模型进行了测试，即使在各种迁移和自适应攻击场景下，也始终能满足特定角色的风险预算。
-
新的RL框架PISmith测试并攻破提示注入防御
研究人员开发了PISmith，一个新颖的强化学习（RL）框架，旨在严格测试大型语言模型（LLMs）中提示注入防御的有效性。该框架训练一个攻击LLM，通过在黑盒设置中优化注入的提示来发现漏洞，在黑盒设置中只能观察到LLM的输出。PISmith结合了自适应熵正则化和动态优势加权，以克服奖励稀疏性等挑战，从而能够从罕见的成功攻击中进行更有效的学习。在13个基准和代理设置上的评估表明，PISmith能够成功突破最先进的防御，其性能优于现有的攻…
-
新方法压缩大语言模型代理上下文，以提高安全性和效率
研究人员开发了新的方法来压缩大语言模型（LLM）代理的上下文，以提高效率和安全性。一种方法是“Twin Agent”，它将代理分为用于处理不受信任信息的“Explore Agent”和用于执行特权操作的“Safe Agent”，并使用紧凑的提示来维持效用同时防止攻击。另一种方法是“Distil”，它使用统计上的非劣性检验来确保上下文压缩不会改变代理的决策过程，在SWE-bench任务上实现了与完整上下文相当的性能。
-
新管道使代理式AI应用程序免受数据泄露的侵害
研究人员开发了一种新的部署前管道，旨在防止代理式应用程序中的数据泄露和工具滥用。该管道通过分析提示模板、工具接口和代码来扫描、加固和验证代理式系统，以识别和修补漏洞。该系统优先处理高风险工具，并应用最小侵入性缓解措施，如模式收紧和基于允许列表的工具门控。通过对抗性提示注入攻击和良性输入变体进行验证，以确保功能得以保留。在对五个真实世界的代理式应用程序和AgentDojo基准进行的评估中，该管道成功识别了泄露模式，并生成了补丁，在基本攻…