Deepsweg
PulseAugur coverage of Deepsweg — every cluster mentioning Deepsweg across labs, papers, and developer communities, ranked by signal.
- instance of Gemini 3.6 Flash 95%
- developed Gemini 3.6 Flash 95%
- instance of Kimi k3 90%
- developed by Opus 4.8 90%
- competes with GPT 5.6 "Sol" 80%
- competes with Claude Fable-5 80%
- competes with Kimi k3 70%
- competes with GLM 5.3 70%
- competes with GPT -6 Astra 70%
- competes with Claude Opus-5 70%
- used by GLM 5.3 70%
- used by Terminal-Bench 4.0 70%
15 天有情绪数据
New, more reliable AI coding benchmark to emerge within 60 days
Given the widespread issues and criticism surrounding DeepSWE, it is plausible that a new, more robust benchmark will be developed and announced within the next 60 days to address the identified flaws and provide a more accurate evaluation of AI coding models.
DeepSWE benchmark facing widespread criticism for execution flaws
Multiple recent clusters indicate significant criticism of the DeepSWE benchmark due to flawed execution and reliability concerns. This suggests that the benchmark's results may not be trustworthy, impacting the evaluation of AI coding assistants and potentially misleading Staff+ buyers who rely on these metrics.
Programming language impacts AI coding model performance on DeepSWE
User reports analyzing DeepSWE benchmark data indicate that the choice of programming language significantly affects the performance of AI coding models. This suggests that future evaluations and comparisons of these models should consider language-specific strengths and weaknesses.
A more robust AI coding benchmark will be released within 60 days to address DeepSWE's shortcomings
The recent discovery of significant flaws in the DeepSWE benchmark, coupled with the development of DeepSWE as a replacement for SWE-bench, indicates a pattern of evolving evaluation methods. Given the critical need for accurate AI coding assistant performance metrics, it is likely that another, more robust benchmark will emerge soon to address the identified issues.
Programming language choice significantly impacts AI coding model performance on DeepSWE
User reports analyzing DeepSWE benchmark data indicate that the choice of programming language has a notable effect on AI model performance. Models like GPT 5.5 and Mimo V2.5 Pro show varying strengths across languages such as Rust and TypeScript, suggesting that evaluations should consider language-specific capabilities rather than a monolithic score.
-
Replit 发布 ViBench 2.0，用于长周期人工智能软件开发
Replit 发布了 ViBench 2.0，这是一个旨在评估人工智能模型在长周期软件开发任务方面能力的新基准测试。与以往专注于特定编码问题的基准测试不同，ViBench 2.0 要求人工智能代理从头开始构建整个产品，并随着时间的推移逐步添加功能。该基准测试包含十七个不同的产品和 241 项功能请求，表现最佳的模型如 GPT-6.1 Sol、GPT-6 Astra 和 Opus 5.5 在测试计划上的成功率介于 49-65% 之间。
-
新方法为AI编码代理提炼可迁移的编码技能
研究人员开发了一种名为分层技能演化（HSE）的新方法，用于为编码代理提炼可迁移的程序性知识。HSE通过从单个编码轨迹、然后从代码库、最后跨代码库聚合证据来逐步完善技能。该过程使用外部编写-评估循环来生成和评估技能，而无需修改核心编码模型。在SWE-bench Verified和DeepSWE基准上的评估表明，10项演化技能在各种设置、模型和代理工具中提高了编码性能。
-
新的“下注式思考”方法提高了LLM代理的可靠性
一种名为“下注式思考”（Thinking-in-Bets）的新方法已被开发出来，以提高语言模型代理的可靠性。这种无需训练的技术涉及代理在收到用户反馈之前创建其声明和置信度水平的私有记录。当受到质疑时，代理会利用此记录来维持正确的工作，同时重新评估不确定的点。该方法在八个基准测试中对五个Gemini模型进行了测试，显示虚假反转和不必要的编辑显著减少，尤其是在编码任务中。
-
AI模型性能受测试框架影响大，而非模型本身
DeepSeek近期发布的V4.1-Flash-1017模型引发了关于基准测试性能的争论，一些人庆祝其高分，另一些人则要求评估方法的透明度。核心问题在于“测试框架”或用于测试的脚手架的显著影响，这会夸大或低估模型的报告分数。Emma Intelligence是一家专注于通过先进脚手架提高模型性能的公司，它通过展示其emma-scaffold-v3如何在特定基准套件上将Gemini Flash 4的分数提升至100%，来证明了这种效应，…
-
DeepSeek 的 V4.1 Flash 模型提供了效率提升，但存在幻觉问题
DeepSeek 发布了其 V4.1 Flash 开源 AI 模型的更新版本，修订号为 1017。该模型显著降低了硬件要求，与前代相比，仅使用一小部分存储和 HBM，同时保持了 100 万个 token 的上下文窗口。DeepSeek 声称该模型在内部性能上可与 GPT-5.6 Sol 和 Claude Opus 5 等专有模型竞争，尤其在代理任务的效率和成本效益方面表现出色。然而，一个显著的缺点是其幻觉倾向增加，在评估事实准确性的基…
-
新的COMPASS代理路由器优化LLM选择以降低成本和提高准确性
研究人员开发了COMPASS，一种新颖的代理LLM路由器，旨在优化模型选择以降低成本和提高准确性。与需要频繁更新的专用路由器不同，COMPASS使用LLM遵循路由配方，通过工具收集性能数据，甚至在选择模型之前检查候选答案。在LLMRouterBench和DeepSWE基准上的评估表明，与现有的路由方法相比，COMPASS以更低的成本实现了更高的准确性，并且无需重新训练即可适应新模型。
-
DeepSeek V4.1 Flash 1017 模型在编码基准测试中表现强劲
DeepSeek 发布了 V4.1 Flash 1017，这是一个开源模型，拥有 1M 的 token 上下文窗口和 763B 参数。这一迭代在十一个基准测试中显示出显著的改进，尤其是在编码任务中，它在 DeepSWE 上取得了 77.0 分，超过了 Opus 5 和 GPT-5.6 Sol 等模型。该模型在智能体任务和视觉能力方面也表现出色，使其成为复杂逻辑推理和跨文件代码生成的有力竞争者。
-
Meta 的 Muse Wonder 代理在 3D 任务失败和基准测试声明方面面临审查
Meta 新推出的 Muse Wonder 编码代理在一次 3D 编程测试中暴露出显著局限性后，引发了开发者社区的争议。尽管 Meta 的官方基准测试显示出强劲的性能，但一项要求该代理创建具有特定视觉效果的熔岩灯的社区测试却以失败告终，导致了关于基准测试过拟合的指控。Meta 的首席人工智能官 Alexandr Wang 承认该模型并未专门针对 3D 任务进行训练，但为其通用编码能力进行了辩护，同时承认空间推理是其已知的弱点。
-
DeepSeek V4.1 Flash 模型价格上涨，声称在 Opus 5 基准测试中获胜
DeepSeek 发布了 V4.1 Flash 1017，这是其 V4 Flash 模型的一次小幅更新，据称在 DeepSWE 基准测试中优于 Anthropic 的 Opus 5。然而，新模型的价格大幅上涨，每百万输出 token 的成本是其前代产品的 4.3 倍。虽然 DeepSeek 声称该模型在完成任务方面的效率可能会抵消更高的每 token 成本，但第三方托管商提供的价格更低。模型卡显示在推理、编码和代理任务方面有所改进，T…
-
DeepSeek V4.1-Flash 1017 更新提升基准测试，降低缓存成本
DeepSeek 发布了其 V4.1-Flash 模型 1017 的更新，该更新专注于提高推理、编码和智能体任务的性能。尽管这是一个训练后检查点而非新架构，但此次更新显著提升了基准测试分数，尤其是在 Terminal-Bench 等任务上。然而，该模型在不同基准测试上的表现各异，在智能体编码方面表现强劲，但在硬推理任务上与 Claude Opus-5 等模型相比则有所滞后。此次更新还显著减小了 KV 缓存大小，从而降低了频繁发送大型提…
-
DeepSeek 发布 V4.1-Flash-1017，提升代理性能并降低成本 · 追踪 9 个来源
DeepSeek 发布了 V4.1-Flash-1017，这是一个更新的开放权重模型，为代理任务提供了改进的性能和成本效益。与前代模型相比，这个新的检查点在 11 项报告的基准测试中得分更高，任务完成速度更快，输出更短。DeepSeek 还推出了新的 Search 和 Fetch API，以具有竞争力的价格为开发人员提供集成的网络搜索功能。
-
AI模型采用新的智能体中期训练和上下文学习技术进行训练
两篇新的研究论文探讨了AI模型的高级训练技术。第一篇论文介绍了一种开放的中间训练方法，旨在为智能体训练后的基础模型进行预训练，并在Nemotron模型的软件工程基准测试中取得了显著改进。第二篇论文ActICL提出了一种智能体多模态上下文学习的方法，其中AI智能体学习逐步检索和优化演示以增强其推理和回答能力，在包括GPT 5.6 "Sol"在内的各种基准测试和模型上显示出显著的性能提升。
-
新的基准和方法增强了AI代码生成评估
两篇新研究论文介绍了用于评估和改进程序生成任务中AI模型的新颖方法。第一篇论文SWEPatchTest提出了一个基准，用于评估编码代理修复软件问题的能力，揭示了当前评估方法的重大局限性。第二篇论文HERO提出了一种技术，该技术利用执行反馈来优化提示并在测试时改进生成的代码，从而提高了在text-to-SQL和text-to-Python基准上的性能。
-
Sabi-Noema 微调提升 Qwen 3.8 27B 的能力和效率
一款名为 Sabi-Noema 的新微调模型已发布，该模型基于 Qwen 3.8 27B，专注于提升 300 亿参数以下模型的增强能力和效率。此微调在编码、智能体任务和工具调用方面表现出改进的性能，在 DeepSWE 和 TB2.1 等基准测试中优于同等规模的其他模型。此外，Sabi-Noema-MLA 变体通过 MLA 注意力显著减少了 token 生成和内存使用，从而在消费级硬件上实现了更大的上下文窗口。
-
新的基准 Parsimony 衡量 AI 代码生成的效率
Parsimony 是一个新推出的开源基准，旨在根据 AI 模型添加的代码量来评估它们，而不是仅仅看成功率。Parsimony 的开发旨在解决代码库的长期可维护性问题，它通过计算特定编码单元（如语句和调用）的数量来衡量代码大小，并减去删除的代码。该基准通过已解决任务的平均净添加单元数对模型进行排名，分数越低表示代码生成效率越高。
-
Meta 的 Muse Wonder AI 在编码基准测试中挑战 Anthropic 的 Opus 5.5
Meta 推出了 Muse Wonder，一款新的人工智能模型，在长代码任务方面与 Anthropic 的 Claude Opus 5.5 展开竞争。虽然 Meta 的内部基准测试显示 Muse Wonder 在 DeepSWE 和 SWE-Marathon 等领域优于 Opus 5.5，但一个独立指数给予 Opus 5.5 更高的整体智能得分。两款模型的定价结构相似，但 Meta 的官方文档强调，性能可能因配置和提示而异，建议在个人…
-
Astra发布后，DeepSWE网站状态受质疑
一位Reddit用户正在质疑DeepSWE网站的状态，注意到自Astra发布以来一直没有更新。该帖子暗示该网站可能已停用或已失效。
-
Google launches Gemini 4 Argon with 1M token context, limited access
Google DeepMind 推出了 Gemini 4 Argon，一款新的旗舰模型，输出限制为 100 万个 token，显著增加了其上下文窗口。早期基准测试显示，它在知识工作和长上下文任务上的表现具有竞争力，通常能与 Opus 5.5 和 GPT-6 Astra 等模型持平或超越，但在某些特定编码基准测试上表现稍逊。目前 Gemini 4 Argon 的访问权限仅限于部分网络防御者和内部 Google 测试人员，并计划向 API…
-
谷歌发布Gemini 4 Argon，挑战GPT-6 Astra和Claude Opus 5.5
谷歌发布了其新的前沿模型Gemini 4 Argon，据谷歌内部测试显示，该模型在多项基准测试中表现优于GPT-6 Astra和Claude Opus 5.5。然而，该模型目前仅对部分网络安全团队开放，更广泛的发布和API定价尚未公布。尽管内部报告称其编码能力在实际应用中可能不足，谷歌仍表示Argon代表着在经历了一段艰难时期后，重夺AI前沿领先地位的重要一步。
-
新 AI harness 优化可适应任务；Replit 让模型自由选择代理
研究人员开发了 Turbo Harness，这是一个通过针对特定任务实例进行自适应来优化 AI 代理 harness 的框架。这种方法重用了先前全局 harness 优化的信息，创建一个“剧本”，harness 编辑器可以使用该剧本来生成实例特定的补丁。实验表明，Turbo Harness 在各种基准测试中优于现有方法。另外，Replit 引入了一种新的代理架构，AI 模型本身决定使用哪些子代理以及投入多少精力，超越了传统的模型路由器…