kilt

新基准揭示AI Agent普遍存在的拒绝失败问题

研究人员推出了HopRefusalBench，这是一个新的基准，旨在评估增强搜索的大型语言模型Agent在多步推理场景中处理无法回答问题的能力。该基准包含889个由实体路径构建的问题，涵盖了三种无法回答的原因和三种推理拓扑。在测试的十个专有和开源模型中，表现最好的模型仅实现了42.9%的正确停止率，这表明在适当时候可靠地拒绝回答方面存在重大挑战。