一项新的基准测试 Senior SWE-bench 被开发出来,用于评估 AI 模型在高级软件工程师通常执行的任务上的表现。在初步测试中,Claude Opus 4.5 表现强劲,总排名第二,在 Bug 调查任务上排名第一。该基准测试包含 100 项任务,其中 50 项被保留以防止数据污染。 AI
影响 为评估 AI 模型在复杂工程任务上的表现建立了一个新的基准,可能推动未来的模型开发。
排序理由 对 AI 模型的新基准评估。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →