English(EN) SWE-Shift: Evaluating Coding Agents in Evolving Workspaces

新的SWE-Shift基准揭示编码代理在执行中更改方面存在困难

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-26 04:00

一个名为SWE-Shift的新基准已被开发出来，用于评估编码代理在软件开发环境中处理执行中更改的能力。该基准包含12个更改家族的120个场景，测试代理完成任务、保留现有工作和适应更新的能力。对17个编码代理的初步评估显示，与未更改的环境相比，所有系统在执行中更改的任务上的表现都明显更差，GPT-6 Astra的成功率从67.35%下降到24.79%。 AI

影响突出了当前编码代理能力的一个关键差距，可能推动开发更强大、更适应性强的人工智能软件开发助手。

排序理由介绍用于评估AI编码代理新基准的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 12 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 介绍用于评估AI编码代理新基准的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, product; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Same-day; Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Victor Shea-Jay Huang, Rongqing Li, Zhangyue Yin, Kelong Mao, Yaqi Zhao, Xinyuan Wang, Yao Yin, Lirui Luo, Renrui Zhang, Hongsheng Li · 2026-10-26 04:00

SWE-Shift：在不断变化的工作空间中评估编码代理

arXiv:2610.32196v1 Announce Type: new Abstract: Repository-level coding benchmarks largely assume that tasks and environments remain unchanged throughout execution. In software development, code, dependencies, runtime state, and requirements can change while an agent is still wor…

本文如何被排名

报道来源 [1]

SWE-Shift：在不断变化的工作空间中评估编码代理

相关实体

相关话题