一项新的基准测试 Muse Spark Open 已发布,用于评估开源模型作为代码代理的能力。初步测试表明,包括 Meta 的 Muse Spark Open 在内的许多开源模型在代理式编码任务上难以跟上托管模型的步伐。虽然像 Meta 的 Muse Spark Open 和 Xing 4.0 这样的模型在 Terminal-Bench 2.1 和 SWE-bench Verified 等特定基准测试中显示出潜力,但它们在 Forge 2.0 代理式编码构建等更复杂的任务的实际应用中常常失败。 AI
影响 凸显了开源模型在复杂编码任务中的当前局限性,表明理论性能与实际应用之间存在差距。
排序理由 该项目描述了一个用于评估开源模型作为代码代理的新基准测试,包括性能数据和对各种模型的分析。[lever_c_demoted from research: ic=1 ai=1.0]
- Artificial Analysis
- Forge 2.0
- Gauntlet
- Gauntlet 7.2
- Gemma 4
- LFM2.5-24B-A2B
- MacBook
- Meta
- Muse Spark Open
- Nemotron 3.5 Bolt
- OpenRouter
- Qwen3.8-27B
- SWE-bench Verified
- Terminal-Bench 2.1
- vals.ai
- Xing 4.0
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →