SWE-Shift

新的SWE-Shift基准揭示编码代理在执行中更改方面存在困难

一个名为SWE-Shift的新基准已被开发出来，用于评估编码代理在软件开发环境中处理执行中更改的能力。该基准包含12个更改家族的120个场景，测试代理完成任务、保留现有工作和适应更新的能力。对17个编码代理的初步评估显示，与未更改的环境相比，所有系统在执行中更改的任务上的表现都明显更差，GPT-6 Astra的成功率从67.35%下降到24.79%。