实体 SWE-Bench ProMax

SWE-Bench ProMax

PulseAugur coverage of SWE-Bench ProMax — every cluster mentioning SWE-Bench ProMax across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_193732 · Aug 10 · 00:00

新的SWE-Bench ProMax基准测试挑战AI编码代理进行复杂的重构任务 · 跟踪2个来源

研究人员推出了SWE-Bench ProMax，这是一个旨在评估AI编码代理在复杂、大规模代码重构任务上的新基准。该基准解决了现有评估中的局限性，例如测试缺陷以及模型复现训练数据的能力。SWE-Bench ProMax包含170个专家精心策划的实例，涵盖七种编程语言，每个实例平均修改11.4个文件和261.6行代码。初步实验表明，即使是先进的AI模型，解决率也仅为41.2%，这表明SWE-Bench ProMax对AI编码能力提出了重…