Vamshi Krishna Bonagiri

LLM 代理可通过选择性退出不确定的任务来提高安全性 · arXiv 研究

研究人员开发了一种方法，使大型语言模型 (LLM) 代理能够通过选择性地退出它们不确定的任务来提高安全性。这种“退出”机制使用 ToolEmu 框架在 12 个 LLM 上进行了测试，安全性平均提高了 +0.39（0-3 分制），专有模型提高了 +0.64。至关重要的是，这种安全性提升带来的帮助性几乎没有下降 (-0.03)，这表明它可以轻松集成到现有的代理系统中，作为高风险应用中防范灾难性风险的第一道防线。