来自加州大学洛杉矶分校、Google Research、Google DeepMind 和纽约大学的研究人员最近的一项研究调查了AI代理在长周期任务中的可靠性。通过分析软件工程、终端任务和生物信息学中超过2500个代理轨迹,他们发现,即使任务最终被标记为已解决,代理也常常无法识别或从早期错误中恢复。研究强调,推理和规划错误通常发生在可见的错误操作之前,而一个错误的步骤会显著增加后续步骤出错的可能性。研究表明,虽然代理难以自我纠正,但外部环境反馈(如测试失败或回溯)对于识别和解决错误至关重要。 AI
影响 凸显了在复杂、耗时长的任务中改进AI代理自我纠正和错误检测机制的迫切需求。
排序理由 学术论文,详细介绍了AI代理可靠性的研究结果。[lever_c_demoted from research: ic=1 ai=1.0]
- BixBench
- Google DeepMind
- Google Research
- New York University
- SWE-bench
- TerminalBench
- University of California, Los Angeles
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →