一项发表在arXiv上的新研究表明,在编码基准测试中得分更高的AI模型并不一定能转化为更高的实际生产力。研究人员分析了由于美国出口管制指令被迫从Claude Fable-5切换到Opus 4.8的开发者的GitHub pull requests。尽管Opus 4.8在SWE-Bench Pro基准测试中的得分较低,但研究发现,在使用这两种模型的用户之间,pull requests的合并率或每周合并的请求数量没有统计学上的显著差异。这表明基准性能可能不是衡量编码模型实际效用的可靠指标。 AI
影响 表明当前的编码基准指标可能无法准确反映AI模型在实际开发任务中的实际效用。
排序理由 发表在arXiv上的学术论文,展示研究成果。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →