一项涉及 27,280 次 Agent 运行和 830 亿个 token 的近期实验表明,周围的 Harness 配置,而非底层的语言模型,对性能和成本有显著影响。在 22 种不同的 Harness 设置和 5 种模型中,当模型改变时,中位数 Harness 在每任务成本排名中移动了 11 位,这表明提示工程、工具使用和停止条件比模型本身更关键。研究发现,昂贵的 Harness 往往比便宜的 Harness 成功率更低,并且很大一部分成本归因于失败的尝试和超时,这凸显了高效循环设计和审查流程的必要性。 AI
影响 强调优化 AI Agent 的性能和成本需要关注提示工程和循环设计,而不仅仅是模型选择。
排序理由 该项目详细介绍了一项关于 AI Agent 性能的新颖实验和分析,并提出了研究结果和方法论。[lever_c_demoted from research: ic=1 ai=1.0]
- Alma
- Codex CLI
- DeepSeek
- DeepSeek Harness: Creator
- FrontierHarness Eval v1.1
- GLM 5.3
- glm-5.3(-flash)
- GLM Flash
- Kimi k3
- mini-SWE-agent
- Muse
- oh-my-pi
- OpenCode v1
- Raspberry Pi
- ZCode
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →