实体
SWE-Bench ProMax
SWE-Bench ProMax
PulseAugur coverage of SWE-Bench ProMax — every cluster mentioning SWE-Bench ProMax across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
软件工程原则提升编码LLM，论文显示
一篇新论文探讨了如何应用软件工程原则来增强专为编码任务设计的大型语言模型（LLM）的开发和能力。研究人员开发了一个名为RefactorForge的流水线，该流水线利用重构知识和既有的SE工具来创建训练数据。使用此数据对一个92B参数的编码LLM进行微调，使其在RefactorBench和SWE-Bench ProMax等基准测试以及实际问题解决方面取得了显著改进。
-
新的SWE-Bench ProMax基准测试挑战AI编码代理进行复杂的重构任务 · 跟踪2个来源
研究人员推出了SWE-Bench ProMax，这是一个旨在评估AI编码代理在复杂、大规模代码重构任务上的新基准。该基准解决了现有评估中的局限性，例如测试缺陷以及模型复现训练数据的能力。SWE-Bench ProMax包含170个专家精心策划的实例，涵盖七种编程语言，每个实例平均修改11.4个文件和261.6行代码。初步实验表明，即使是先进的AI模型，解决率也仅为41.2%，这表明SWE-Bench ProMax对AI编码能力提出了重…