ReInBench

新数据集和方法分析LLM Agent的错误自我恢复能力

研究人员开发了ReInBench，一个包含1,259个Agent轨迹和1,403个错误事件的数据集，用于研究LLM Agent在与Web服务交互时自我恢复的能力。研究发现，相当一部分错误（总计725个）能够自我恢复，通常在几步之内，并且这种自我恢复可以改善后续执行和整体任务完成情况。为了优化干预，提出了一种名为ReCoF的新方法来预测错误自我恢复的可能性，旨在减少不必要的外部干预。