一项名为 RegretBench 的新基准已被开发出来，用于评估编码代理的备份意识，这些代理越来越能够自主完成任务。该基准包含 205 个任务，基于用户在 GitHub 和 Stack Overflow 等平台上报告的后悔事件，结果显示，当前最先进的模型能够有效地完成任务，但备份意识差，仅在 15.2% 的情况下保留状态。为解决此问题，提出了一种名为 BackUpper 的插件层，该插件可自动检查工具调用并在修改前保留受影响的状态，在 RegretBench 上以低成本和比代理自备份更少的 token 实现 92.2% 的状态恢复相似度。 AI
影响 突出了当前编码代理的一个关键差距，并提出了一个低成本的解决方案，可以提高自主系统的可靠性和用户信任度。
排序理由 学术论文，介绍了一个新基准和提出的解决方案。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
