一项新的基准测试 FrontierHarness Eval v1.1 显示,虽然 AI 模型本身占编码代理成本变化的 92.8%,但工具链(harness)配置可以将相同模型的成本提高高达 5 倍。研究发现,很大一部分支出(64.5%)用于最终失败或超时的试验,代理经常提供自信但错误的最终答案。这表明 AI 编码代理的成本更多地受到所采取的步骤数量和验证过程的影响,而不仅仅是模型的能力。 AI
影响 强调 AI 代理的成本很大程度上受工具链配置和验证的影响,而不仅仅是模型本身,这会影响运营效率。
排序理由 发布新的基准测试,对 AI 代理性能和成本因素进行详细分析。[lever_c_demoted from research: ic=1 ai=1.0]
- Cline CLI
- DeepSeek Harness
- DeepSeek V4.1 Flash
- FrontierHarness Eval v1.1
- GLM 5.3
- Kimi k3
- Muse
- openCode
- Runta
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →