Agent-SafetyBench
PulseAugur coverage of Agent-SafetyBench — every cluster mentioning Agent-SafetyBench across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新框架“Evolution Under Fire”提升AI代理安全性
研究人员开发了一个名为“Evolution Under Fire”的新框架,以增强使用工具的语言模型代理的安全性。这种分阶段的方法通过自适应地生成和应用压力测试攻击来演进安全约束,然后用于改进这些约束。该系统在降低AgentDyn和Agent-SafetyBench等基准测试上的攻击成功率方面取得了显著改进,同时保持或提高了任务效用和运行时有效性。演进后的安全约束在不同模型上都显示出有效性,包括GPT-4o-mini和Qwen系列,甚…
-
新的FGLGuard系统通过联邦图学习增强LLM多智能体安全
研究人员开发了FGLGuard,一种用于增强由大型语言模型(LLM)驱动的多智能体系统(MAS)安全性的新颖系统。该方法利用联邦图学习在智能体间通信图上训练图神经网络(GNN),从而能够在不跨组织汇集敏感数据的情况下定位和干预风险智能体。FGLGuard在Agent-SafetyBench、R-Judge和AgentDojo等基准测试中表现出色,优于集中式方法和仅本地训练的方法,同时保持了高可用性和最小的能力损失。
-
Niyam-AI 使用零知识证明实现可验证的 AI 代理安全
研究人员推出了 Niyam-AI,这是一个旨在为 AI 代理提供加密可验证安全护栏的新颖框架。与依赖软件检查的现有方法不同,Niyam-AI 使用隔离的 Judge 模型和零知识证明(zk-SNARKs)来数学上验证每个工具调用是否符合预定义的约束。这种方法提供了可证明的安全执行保证,允许第三方在无需访问模型内部权重的情况下确认合规性。在 Agent-SafetyBench 数据集上的评估表明,Niyam-AI 的性能显著优于 NeM…