一项针对代理编码的新基准测试 Forge 2.0 显示,由 TypeSafe 开发的 Jev Router 取得了最高分。然而,该路由器在绝大多数情况下,118 次调用中有 117 次都指向了 GPT-6.1 Sol,只有一次调用指向了 GPT-6 Astra。这引发了关于 Jev Router 本身是否是性能的主要驱动因素,还是它有效地利用了 GPT-6.1 Sol 的能力,尤其是在 GPT-6.1 Sol 的直接构建得分低于 Jev Router 的中位数分数的情况下。 AI
影响 强调了路由模型在优化 LLM 使用和成本方面的潜力,同时也质疑了真正的性能归属。
排序理由 该条目详细介绍了一个新的基准测试及其在代理编码模型方面的结果。[lever_c_demoted from research: ic=1 ai=1.0]
- Atlassian Forge
- Claude Opus 5.5
- DeepSeek V4.1 Flash
- Forge 2.0
- Gemini 4 Argon
- GPT-6.1 Sol
- GPT-6 Astra
- Jev Router
- OpenRouter
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →