AMV-Guard

AI代理使用面向行动的记忆验证来提高安全性

研究人员开发了AMV-Guard，一个旨在提高长期AI代理安全性和效率的新系统。该系统通过实施面向行动的记忆验证来解决不可逆行动的挑战，该验证根据行动的潜在后果动态决定重新验证哪些记忆前提。AMV-Guard旨在平衡执行、弃权和验证成本的风险。在ToolSandbox上的测试中，它在保证安全性的同时将验证成本降低了33%以上，并在转移到AppWorld时显示出有希望的结果。