实体
AgentDyn
AgentDyn
PulseAugur coverage of AgentDyn — every cluster mentioning AgentDyn across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
StepGuard系统通过步进式控制增强AI代理安全性
研究人员开发了StepGuard，一个新颖的系统，旨在逐个步骤地监控和控制AI代理的行为，而不仅仅是评估已完成的轨迹。这种方法旨在防止未经授权的文件修改或数据泄露等安全风险。StepGuard利用一个名为StepGen的数据引擎来创建安全和不安全的操作示例，并使用一个名为Balance-GRPO的平衡算法来微调模型区分安全和不安全操作的准确性。在测试中，StepGuard显著降低了代理平台上的攻击成功率，同时仅对整体效用产生微小影响，…
-
新框架LongGuard和StepGuard增强了LLM安全护栏
研究人员开发了两个新框架LongGuard和StepGuard，以解决大型语言模型（LLM）中的安全故障。LongGuard专注于分析和缓解长上下文护栏中的故障，提出了分块检测和注意力头锐化等方法来提高安全召回率。另一方面，StepGuard为LLM代理引入了步进式护栏模型，使用名为StepGen的数据引擎和一种称为Balance-GRPO的强化学习技术来平衡安全性和效用，在执行前审计操作。
-
新框架研究 LLM 智能体中的后门净化
研究人员开发了一个框架，用于研究 LLM 智能体如何从微调过程中安装的隐藏后门中净化。他们的实验表明，引入一个已知的后门然后进行遗忘可以清除大约 56% 的原始后门，随后的净化步骤可以清除大部分剩余的后门。研究还发现，如果净化过程使用的触发器类型与原始后门不同，恶意后门就越不可能持续存在，并且净化几个共存的后门中的一个可以有效地清除大多数其他后门。