BeyondSWE

新的BeyondSWE基准测试代码代理处理复杂的软件工程任务

研究人员推出了BeyondSWE，这是一个新的基准，旨在评估代码代理在超越单仓库修复的更复杂的软件工程任务。该基准包含来自246个GitHub仓库的500个实例，涵盖了跨仓库问题解决、依赖迁移和文档到仓库生成等场景。包括一个基于OpenHands的代理和一个使用GPT-5.4并增强搜索功能的代理在内的当前领先代理得分均未饱和，表明它们在整合外部信息和执行广泛仓库级别更改的能力方面有很大的提升空间。