由 Joel Niklaus 编译、托管在 Hugging Face Space 上的新版 Harness Leaderboard v0.1.9,使用相同的模型和任务评估了 11 种不同的编码代理工具链。结果显示性能存在显著差异,宏平均解决率从 42.7% 到 52.5% 不等。该排行榜强调,虽然模型是性能的主要驱动因素,但工具链的选择也起着至关重要的作用,影响任务结果高达 27.1%。它还指出了各种工具链中存在的实际问题,如错误的上下文窗口和无效的历史压缩等 bug。 AI
影响 强调了工具链选择对 LLM 编码任务性能的显著影响,建议工程师在选择模型的同时,也应仔细考虑工具链的选择。
排序理由 该条目描述了一个用于评估不同编码代理工具链的基准测试和排行榜,属于对 AI 系统的研究和评估范畴。
- Claude Code
- Codex
- DeepSeek Harness
- Flintshire
- Grok Build
- Harness Leaderboard v0.1.9
- Hermes Agent
- Hugging Face Space
- Joel Niklaus
- Kimi Code
- mini-SWE-agent
- OpenClaw
- OpenCode
- Qwen Code
- Pi
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →