PulseAugur
中
实时 08:32:10
实体 SWE-rebench

SWE-rebench

PulseAugur coverage of SWE-rebench — every cluster mentioning SWE-rebench across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
4
90 天内 8
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 4
层级分布 · 90 天
主题
时间线
  1. 2026-07-01 research_milestone The SWE-rebench leaderboard was updated with new models and an improved UI for comparing AI performance on coding tasks. 来源
情绪 · 30 天

2 天有情绪数据

最近 · 第 1/1 页 · 共 8 条
  1. TOOL · CL_332923 ·

    AI系统ExLabel提升软件工程数据集质量

    研究人员开发了ExLabel,一个旨在提高用于软件工程任务中大型语言模型(LLMs)训练和评估的数据集质量的AI驱动系统。ExLabel使用一个演进的经验库来指导其对任务清晰度和测试覆盖率的评估,其灵感来源于人类标注者如何做出上下文感知的判断。该系统使用SWE-TQ进行评估,SWE-TQ是一个从现有数据集的清理标注中创建的新基准,并在多种编程语言上展现出优于基线方法的性能。此外,一个在ExLabel过滤的数据上进行微调的编码模型在其解…

  2. TOOL · CL_324385 ·

    新的CQ2-CARE方法通过选择整个文件来提高编码代理的问题解决能力

    一种名为CQ2-CARE的新方法已被开发出来,以提高编码代理在处理超出其上下文窗口的大型代码存储库时的性能。与提示压缩器或检索器不同,CQ2-CARE优先选择需要修改的整个文件,并保留其原始代码。这种方法通过提供要编辑的确切代码,使代理能够更准确地解决更多问题,从而在SWE-rebench等基准测试中使用GPT-5.6和Claude Opus-5等模型进行测试时获得更高的成功率。

  3. TOOL · CL_303246 ·

    AI代理内存审计揭示关键数据遗漏,影响跟踪可重放性

    对公共AI代理跟踪中已存储内存项的审计揭示了其状态记录和分析方式存在重大问题。作者发现,大多数跟踪仅提供对话记录,省略了代理在决策时状态的关键信息。这使得无法确定哪些已存储的内存实际上影响了代理的行为,哪些是冗余的或无效的。审计提出了对内存项进行分类的更严格标准,强调通过从可达前缀中逐字恢复来证明惰性,而不是依赖相似度得分,并提倡一种最小可用格式,包括每个决策的存储快照、组装的提示和采取的行动。

  4. TOOL · CL_308298 ·

    编码代理通过逐字选择整个文件来修复更多问题

    一种名为 CQ2-CARE 的新方法已被开发出来,以提高编码代理解决软件问题的能力。该方法优先在令牌预算内逐字显示整个文件,而不是压缩或检索特定的代码片段。实验表明,与压缩和检索方法相比,CQ2-CARE 在与 GPT-5.6 和 Claude Opus-5 等模型一起使用时表现显著优越,从而提高了成功解决问题的百分比。

  5. TOOL · CL_169015 ·

    SWE-rebench 新增多语言编码任务,GLM-5.2 领跑排行榜

    SWE-rebench 排行榜已更新,新增了一个多语言测试集,涵盖五种编程语言的软件工程任务:Go、Java、Python、Rust 和 TypeScript。此次更新包含了多个开源模型的性能指标,其中 GLM-5.2 的 Pass@1 分数最高,达到 62.9%。该项目计划在 3-4 周内进行另一次更新,重点关注适合本地部署的模型,并征集社区对未来评估的建议。

  6. TOOL · CL_120598 ·

    SWE-rebench 排行榜新增 Claude Opus 4.8、GLM-5.2、Gemini 3.5 Flash

    SWE-rebench 排行榜已更新,新增了模型并改进了用户界面,使得在编码任务上比较 AI 性能更加容易。值得注意的新增模型包括 Claude Opus 4.8 xhigh、GLM-5.2 和 Gemini 3.5 Flash,以及多个 Qwen 和 DeepSeek 模型。此次更新还突出了本地和自托管模型的测试结果,鼓励社区就接下来要测试哪些模型提供意见。

  7. TOOL · CL_99352 ·

    校准后的 2 位 GGUF 模型在 SWE-rebench 上通过率达到 63%

    开发了一种新的方法来校准 2 位量化语言模型,特别是 10GB 以下的 GGUF 格式,以用于代理编码任务。这些经过校准的模型,例如 Qwopus3.6-27B-Coder,在 SWE-rebench 基准测试上的通过率超过 60%。校准过程利用真实的代理编码日志和重要性矩阵,在显著减小模型尺寸和提高解码速度的同时保持性能。

  8. TOOL · CL_55071 ·

    SWE-rebench 排行榜新增 110 个面向 AI 模型的 Python 任务

    SWE-rebench 排行榜已更新,新增了来自 GitHub PR 的 110 个 Python 任务,涵盖 3 月、4 月和 5 月。此次更新侧重于评估模型阅读真实问题、编辑代码和通过测试套件的能力。未来的更新将包括更多模型,如 Gemini Flash 3.5 和 DeepSeek v4 Pro,以及多语言任务和本地开发选项。