ToolSafe

新的PROVISO系统增强了LLM代理的安全性和实用性

研究人员开发了PROVISO，这是一种旨在增强大型语言模型（LLM）代理安全性的新型控制器。PROVISO通过根据拟议操作的来源和上下文进行评估，而不是孤立地评估，来解决LLM代理执行潜在有害操作的关键问题。该系统编码各种类型的观察结果并对其进行查询，以选择具有最高校准价值的操作，在多项代理安全任务上展示了比现有方法更高的安全性和实用性。