研究人员开发了一个名为AgentAbstain的新框架，用于评估大型语言模型（LLM）代理在应不采取行动时识别自身的能力。该框架解决了代理因歧义、冲突约束或工具故障而执行意外或不可逆操作的风险。AgentAbstain使用了一个配对任务基准，包含42个沙盒环境中的263个任务，旨在测试代理何时应采取行动以及何时应不采取行动。一个名为AbstainGen的自动化管道生成这些配对任务，以确保新颖性并抵抗数据污染。即使是表现最好的代理Gemini 3.1 Pro，在这些配对任务上的准确率也仅为59.5%，这表明其不采取行动的能力存在显著差距，且这种差距不一定与一般的任务解决能力相关。 AI
影响 突显了LLM代理在安全方面的一个关键差距，表明当前的评估方法可能无法充分让它们为现实世界的部署做好准备，而在现实世界中，知道何时*不*采取行动至关重要。
排序理由 该集群描述了一篇介绍LLM代理新评估框架的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
