研究人员开发了NEXUS,一个新颖的神经符号框架,旨在增强使用自然语言指令进行规划的具身代理的安全性与稳健性。该框架联合维护一个用于动作模式的PDDL域模型和一个用于约束的LTL安全规范。通过将执行失败和检测到的危险转换为可重用的LTL约束,NEXUS提高了动作可行性并减少了危险结果。在SafeAgentBench评估集上的实验表明,NEXUS在任务完成度和拒绝不安全动作之间提供了更优的平衡,同时还表现出对越狱攻击的抵抗力。 AI
影响 该框架可能带来更安全、更可靠的物理环境中的AI代理,降低与自主系统相关的风险。
排序理由 该集群描述了一篇关于新AI安全框架的最新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →