StepGuard
PulseAugur coverage of StepGuard — every cluster mentioning StepGuard across labs, papers, and developer communities, ranked by signal.
- 2026-08-26 product_launch Shanghai AI Lab announced StepGuard, a system to block AI agent attacks. 来源
-
上海 AI 实验室的 StepGuard 阻止 77% 的 AI 代理攻击
上海 AI 实验室开发了 StepGuard，一个旨在防止恶意 AI 代理行为的系统。StepGuard 在执行前分析 AI 代理工具调用，成功阻止了 77% 的攻击，同时仅将效用略微降低 2.8%。这种方法旨在通过增加一个执行前验证层来增强 AI 代理的安全性。
-
StepGuard系统通过步进式控制增强AI代理安全性
研究人员开发了StepGuard，一个新颖的系统，旨在逐个步骤地监控和控制AI代理的行为，而不仅仅是评估已完成的轨迹。这种方法旨在防止未经授权的文件修改或数据泄露等安全风险。StepGuard利用一个名为StepGen的数据引擎来创建安全和不安全的操作示例，并使用一个名为Balance-GRPO的平衡算法来微调模型区分安全和不安全操作的准确性。在测试中，StepGuard显著降低了代理平台上的攻击成功率，同时仅对整体效用产生微小影响，…
-
新框架LongGuard和StepGuard增强了LLM安全护栏
研究人员开发了两个新框架LongGuard和StepGuard，以解决大型语言模型（LLM）中的安全故障。LongGuard专注于分析和缓解长上下文护栏中的故障，提出了分块检测和注意力头锐化等方法来提高安全召回率。另一方面，StepGuard为LLM代理引入了步进式护栏模型，使用名为StepGen的数据引擎和一种称为Balance-GRPO的强化学习技术来平衡安全性和效用，在执行前审计操作。
-
StepGuard框架提升AI网络导航准确性
研究人员开发了StepGuard，一个旨在提高AI代理执行网络导航任务准确性的新框架。该系统通过采用动态双策略优化（DDPO）来管理导航和回答之间的奖励冲突，并通过置信度引导自适应导航反思（CANR）通过自我纠正来校准错误，从而解决了单步脆弱性问题。实验表明，StepGuard在标准网络导航基准测试中取得了最先进的性能。