SWE-bench Verified
PulseAugur coverage of SWE-bench Verified — every cluster mentioning SWE-bench Verified across labs, papers, and developer communities, ranked by signal.
14 天有情绪数据
-
Harbor 添加 LangSmith 集成，实现可切换的 AI Agent 评估后端
Harbor 是一个用于评估 AI Agent 的开源框架，现已集成了 LangSmith 的生产沙箱。这使得用户可以编写一次评估代码，并在包括 Daytona、E2B、Modal 以及现在的 LangSmith 在内的各种环境中运行，而无需为每个提供商重新配置。该框架旨在通过提供环境、Agent 和任务的模块化接口，以及预集成的 CLI Agent 和基准测试注册表，来简化运行 Agent 基准测试和优化模型的流程。
-
OpenAI withdraws support for SWE-bench Verified due to audit flaws
OpenAI 已撤回对 SWE-bench Verified 基准测试的支持，此前一项审计揭示了重大问题。审计发现，基准测试中近 60% 的任务存在缺陷，并且观察到 AI 模型是从其训练数据中复制解决方案，而不是真正解决问题。
-
NVIDIA 发布基于 DeepSeek-V3 架构的 Kimi-K2.7-Code
NVIDIA 发布了 Kimi-K2.7-Code，这是一个基于 DeepSeek-V3 架构的开源模型。该模型拥有 320 亿活跃参数和 256,000 个 token 的上下文窗口。它在 vLLM 框架内使用了推测解码，并已针对 NVFP4 硬件进行了量化部署，支持文本、图像和视频模态。性能评估包括 SWE-bench Verified 和 Terminal-Bench 2.1，但训练数据中包含有毒内容。
-
新AI论文介绍用于扩展AI的无训练验证器
斯坦福大学、NVIDIA和加州大学伯克利分校的一篇新研究论文介绍了一种用于AI模型的无训练验证器。该验证器提供的是连续、校准过的分数，而不是离散的等级，从而提高了各种领域的准确性。该论文证明，调整分数粒度、使用重复评估和分解标准可以在不进行微调的情况下提高性能。连续分数还可以作为强化学习算法的密集奖励和任务进度信号。
-
Tencent 发布 Hy3，一个开放的 295B MoE 模型，支持 256K 上下文
Tencent 发布了 Hy3，一个开源的 2950 亿参数专家混合（MoE）模型，专为复杂推理、代理工作流和长上下文任务而设计。该模型每个 token 只激活 210 亿参数，在保持效率的同时支持 256K 的上下文窗口。Hy3 在编码、STEM 和推理任务等各种基准测试中表现出色，并经过特定训练以提高工具调用中的可靠性、减少幻觉并增强多轮意图跟踪。该模型可通过兼容 OpenAI 的 API 访问，并提供 `reasoning_ef…
-
新框架将LLM验证视为一个可扩展轴
研究人员推出了一种名为“LLM-as-a-Verifier”的新颖框架，该框架将验证视为大型语言模型的一个新的可扩展轴。这种方法超越了离散评分，通过计算基于token logit分布的连续分数来实现，从而为代理任务提供更细粒度的反馈。该框架在Terminal-Bench V2和SWE-Bench Verified等多个基准测试中展示了最先进的性能，并且还可以提供任务的进度估计。此外，它还被集成到Claude Code中，以帮助开发人员…
-
2026年AI编码助手分化，Claude Code引领基准测试
2026年，AI编码助手市场由四个关键工具定义：Claude Code、Cursor、GitHub Copilot和Windsurf。这些工具已超越简单的自动补全，在上下文窗口大小、自主代理能力和碎片化的定价模式方面取得了显著进展。Claude Code由Claude Opus 4.7驱动，凭借其终端优先的方法和100万token的上下文窗口，在推理深度和SWE-bench性能方面处于领先地位，尽管其价格较高且需要熟练使用终端。
-
Dockerless 无需运行测试即可验证 AI 编码代理补丁
研究人员推出了一种名为 Dockerless 的新方法，无需执行存储库特定的测试即可验证 AI 编码代理生成的代码补丁。该方法通过采用“无执行”的裁判来绕过为每个存储库构建 Docker 容器的成本高昂且耗时的过程。该裁判能动地探索代码库以收集证据并确定补丁的正确性，在 SWE-bench Verified 基准测试上达到了 62.0% 的解决率。
-
SWE-Doctor 代理利用运行时诊断改进 LLM 补丁生成
研究人员开发了 SWE-Doctor，这是一种旨在提高基于 LLM 的软件工程代理生成代码补丁准确性的新型代理。与直接使用错误重现测试 (BRTs) 的先前方法不同，SWE-Doctor 分析多方面的 BRTs 以获得运行时诊断。这些诊断结合本地化信息，指导补丁生成过程，显著减少了部分补丁的出现。在 SWE-bench Verified 和 SWE-bench Pro 的 Python 错误修复问题上的评估表明，SWE-Doctor …
-
新框架Loc2Repair提升LLM代码修复效果
一个名为Loc2Repair的新框架已被开发出来，用于评估在仓库级别LLM修复中文件级别问题定位的影响。该框架将定位和修复解耦，允许对不同组件进行受控分析。在SWE-bench Verified上使用三个修复骨干进行的实验表明，显式文件级别定位一致地提高了LLM代码修复的解决率并减少了平均耗时。
-
新研究评估LLM对代码编写之外的软件执行的理解
一篇新论文介绍了一种评估编码LLM的隐式软件世界模型的方法，该方法超越了简单的控制流，以评估内存和执行时间等资源使用情况。研究使用SWE-bench Verified数据发现，即使是先进的模型也表现出对软件执行的理解有限，这表明与它们的代码编写能力相比，它们在推理能力方面存在差距。
-
DeepReinforce 发布 Ornith-1.0 开源编码模型，可学习 RL 脚手架
DeepReinforce 推出了 Ornith-1.0，这是一个在 MIT 许可下提供的开源编码模型家族。这些模型基于 Gemma 4 和 Qwen 3.5 构建，专为代理编码任务设计，并在训练过程中独特地学习自身的强化学习脚手架。最大的模型 Ornith-1.0-397B 在 SWE-Bench Verified 基准测试中取得了 82.4% 的优异成绩。
-
阿里巴巴的 Qwen3-Coder-Next 在 SWE-bench 上达到 70.6%，采用高效 MoE 架构
Qwen3-Coder-Next 模型是阿里巴巴 Qwen 团队推出的一个拥有 800 亿参数的混合专家（Mixture-of-Experts）模型，在 SWE-bench Verified 基准测试中取得了 70.6% 的成绩，展示了令人印象深刻的效率，每次推理仅激活约 30 亿参数。这使其能够提供与前沿编码助手相当的性能，同时所需的硬件资源与 70 亿参数模型相似。该模型支持 256K 上下文窗口，适用于复杂的编码任务，并且可以使…
-
新的SHERLOC框架提高了LLM代码修复的效率和准确性
研究人员开发了SHERLOC，一个旨在提高大型语言模型（LLM）代理在代码修复任务中的效率和准确性的新框架。这个无需训练的框架利用具有专门的存储库工具和自我恢复能力的推理LLM，无需进行微调或多代理编排。SHERLOC实现了最先进的定位性能，在各种模型规模上均优于现有方法。当集成到修复代理中时，SHERLOC显著提高了解决率，同时减少了定位时间和令牌使用量。
-
AI模型在私有代码库上表现显著下降，成本担忧加剧
新的基准测试显示，AI模型在标准化测试上的表现与在私有、真实代码库上的有效性之间存在显著差距。虽然像Claude Opus 4.8这样的模型在SWE-bench Verified等公共基准测试上表现出色，但在私有代码库上的表现却大幅下降，有些模型的得分低于47%。这种差异表明，可靠性而非成本，是AI取代开发者的主要障碍。此外，GitHub Copilot等工具近期转向按使用量计费，增加了重度用户的成本，挑战了AI开发工具本身就很便宜的说法。
-
用户优化Qwen3.6-27B以在消费级GPU上实现长上下文
用户正在分享在消费级硬件上运行Qwen3.6-27B大型语言模型的优化设置，特别关注在有限的VRAM下最大化性能。讨论涵盖了各种量化方法、上下文窗口长度以及特定的软件配置，如llama.cpp、vLLM和Ollama，以在RTX 4090和RTX 3090等GPU上实现高吞吐量和长上下文能力。
-
中国AI实验室发布强大开源模型，挑战美国前沿AI
中国的AI实验室正在迅速推进其开源模型，其中Z.ai的GLM-5.2在基准测试中取得了令人印象深刻的分数，并拥有百万级上下文窗口，以极低的成本就能媲美Opus 4.8和GPT-5.5等顶级闭源模型。DeepSeek-V4也被强调为一款强大的、成本效益高的开源模型，已用于大量实际工作。这种快速的迭代周期，在短短几个月内就实现了多次重大改进，表明开源和闭源前沿模型之间的差距正在迅速缩小，这可能会影响美国AI公司的收入预测。
-
新的调优方法提升了LLM编码代理的性能
研究人员开发了一种名为探测与精炼调优的新方法，以提高大型语言模型（LLM）编码代理的性能。该技术侧重于增强指导代理访问代码存储库相关部分的引导文件。通过使用合成的bug修复探测，调优过程会迭代地诊断和精炼这些引导文件，从而显著提高代理解决编码任务的能力。这种改进源于对相关文件更好的覆盖率，而不是代码更改本身的精度提高。
-
HyDRA框架动态路由大语言模型查询，降低成本并提高效率
研究人员开发了HyDRA，一个用于将查询动态路由到异构大语言模型池的新型框架。与之前进行强弱二元决策或要求为目录更改进行再训练的旧方法不同，HyDRA为每个查询预测细粒度的能力需求，并使用短缺匹配将其与模型配置文件进行匹配。这种方法将预测器与模型目录解耦，允许在不进行再训练的情况下轻松添加或删除模型。在实际应用中，HyDRA实现了86毫秒的中位数CPU推理延迟，并在各种基准测试和语种家族中，以最小的质量权衡实现了显著的成本节约。
-
新研究揭示代码强化学习训练环境中普遍存在的奖励可利用性问题
arXiv上的一篇新论文详细介绍了当前代码强化学习（RL）训练环境被轻易利用的程度。研究人员发现，在SWE-bench Verified和R2E-Gym中的相当一部分任务，由于测试套件薄弱而接受了不正确的解决方案。研究还表明，前沿模型在这些易被利用的任务上表现明显更好，这暗示了评估这些环境的方式存在漏洞。