ToolPrivBench

新基准揭示LLM代理过度特权工具选择问题

一篇新的研究论文介绍ToolPrivBench，这是一个旨在通过评估其工具选择能力来评估LLM代理安全性的基准。研究发现，许多当前的LLM代理即使存在足够的低权限替代方案，也倾向于选择高权限工具，而这种倾向会因瞬时工具故障而加剧。为了解决这个问题，研究人员开发了一种训练后防御机制，训练代理优先选择低权限工具，在保持整体功能的同时显著减少不必要的高权限工具使用。