Multi-SWE-bench
PulseAugur coverage of Multi-SWE-bench — every cluster mentioning Multi-SWE-bench across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新论文提出解决方案，应对AI编码基准测试的过度指定问题
一篇新研究论文探讨了AI编码基准测试中过度指定和指定不足的挑战。作者提出了推导出简约提示的方法，以避免泄露可能导致“剧透”并降低基准测试效用的真实信息。该论文审查了SWE-bench Pro、FEA-bench、Doc2Feat-bench和Multi-SWE-bench等现有基准测试，并提出了在提供必要指导和防止解决方案绕过核心评估指标之间取得平衡的技术。
-
新的AttnCompress框架大幅降低AI代理的上下文成本
研究人员开发了AttnCompress，一个新颖的框架，旨在动态压缩自主软件工程（ASE）代理的交互轨迹。该方法解决了由代理生成的长日志造成的瓶颈问题，这些日志会给上下文窗口限制带来压力并增加成本。AttnCompress利用结构感知分割、代理注意力权重进行相关性估计以及动态滚动窗口，以保留关键任务证据，同时显著减少令牌消耗和相关费用。在SWE-Bench-Verified和Multi-SWE-Bench上的评估表明，与现有方法相比，…
-
SpIDER 方法通过基于图的探索增强 LLM 代码检索能力
研究人员开发了 SpIDER，一种新颖的密集检索方法，可增强大型语言模型 (LLM) 在大型代码库中定位相关代码片段的能力。与仅关注语义相似性的现有方法不同，SpIDER 集成了代码库结构的基于图的探索，例如包含和调用关系。SpIDER-Bench 验证了这种方法，这是一个专为跨 Python、Java、JavaScript 和 TypeScript 等多种编程语言的图结构代码检索设计的新基准数据集。实证结果表明，通过利用代码中的空间…
-
大型语言模型注意力模式与自动程序修复成功率相关
一项新的实证研究调查了大型语言模型（LLMs）如何处理用于自动程序修复的错误报告。研究人员分析了来自SWE-bench Verified和Multi-SWE-bench的319个Python和Java错误的LLMs注意力模式。研究发现，成功的修复通常涉及跨越错误报告的各个组成部分（如描述和堆栈跟踪）的扩散注意力，而失败的修复则倾向于过度集中于元数据（如版本信息）上。这项研究首次证明了注意力分配不当是基于LLM的自动程序修复失败的一个重…