SafeAgentBench
PulseAugur coverage of SafeAgentBench — every cluster mentioning SafeAgentBench across labs, papers, and developer communities, ranked by signal.
-
NEXUS框架增强具身AI规划的安全性
研究人员开发了NEXUS,一个新颖的神经符号框架,旨在增强使用自然语言指令进行规划的具身代理的安全性与稳健性。该框架联合维护一个用于动作模式的PDDL域模型和一个用于约束的LTL安全规范。通过将执行失败和检测到的危险转换为可重用的LTL约束,NEXUS提高了动作可行性并减少了危险结果。在SafeAgentBench评估集上的实验表明,NEXUS在任务完成度和拒绝不安全动作之间提供了更优的平衡,同时还表现出对越狱攻击的抵抗力。
-
研究论文强调语音控制的具身AI的安全风险
一篇新发表在arXiv上的研究论文探讨了语音控制的具身AI系统的安全影响。研究表明,自动语音识别(ASR)中的错误可能导致这些AI模型接受并执行不安全的指令。通过模拟ASR错误并将其与SafeAgentBench和POEX等现有安全基准相结合,该研究强调了此类错误如何引入有害的歧义或削弱拒绝行为,从而导致生成和执行不安全的计划。虽然ASR错误的自动纠正有时可以减轻这些风险,但并非总是有效,这表明具身AI存在重大的安全隐患。
-
新的PRISM方法可检测LLM行动中超越文本安全的物理危险
研究人员开发了一种名为PRISM的新方法,用于检测大型语言模型(LLM)在控制具身智能体时可能带来的物理危险。与传统的基于文本的安全检查不同,PRISM分析LLM的内部状态,以识别将指令与物理世界相结合时产生的风险。这种方法表明,在LLM的表示中,物理危险信号可以与内容危险信号分离。PRISM在旨在测试物理安全性的基准测试中取得了高准确率,在识别潜在有害行为方面显著优于标准的LLM裁判。