Cognition 的新模型 SWE-2 在简单基准测试中表现出色,得分接近完美,为更简单的任务提供了强大的性价比。然而,对其在更困难、对抗性任务上表现的深入分析显示,与 TB2.1 分数相比,在 Terminal-Bench TB4 上得分下降了 65.5 分。这种鲜明的对比表明 SWE-2 的优势在于工作负载的“易处理切片”,而其在真正具有挑战性的问题上的表现落后于 Fable 5.1 和 GPT-6 Astra 等竞争对手,这表明可能存在一种优先考虑成本效益而非在困难的边缘案例上稳健表现的训练伪影。 AI
影响 强调了分析模型在不同难度级别上的性能的重要性,表明易处理切片基准测试可能无法反映在复杂任务上的真实能力。
排序理由 该项目分析了一个已发布模型(SWE-2)的性能,但侧重于解释和批评,而不是直接的公告或基准测试结果。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →