English(EN) Are AI Benchmarks Reliable? 32 Models, Each Built Twice

Forge 2.0测试显示模型高度可变，AI编码基准测试受到质疑

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-22 04:59

Atlassian开发的新基准测试Forge 2.0揭示了AI编码模型性能的显著可变性。在独立测试两次后，即使是中等水平的模型也显示出高达0.15的分数差异，而像Gemini 4 Argon这样的模型则表现出从0.79到0.29的宽泛范围。研究表明，这种不一致不一定归因于模型架构，而是代理任务中固有的噪声和评分惩罚，而非已构建应用程序的完整性。这种可变性挑战了通常依赖单次运行的标准AI基准测试的可靠性，可能导致用户在选择编码需求时做出次优选择。 AI

影响凸显了当前AI基准测试的不可靠性，可能影响开发人员如何选择和信任AI编码助手。

排序理由该条目详细介绍了一个新的基准测试及其关于AI模型性能可变性的发现，这构成了研究。 [lever_c_从研究降级：ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 0 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该条目详细介绍了一个新的基准测试及其关于AI模型性能可变性的发现，这构成了研究。 [lever_c_从研究降级：ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, product; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: 4 days old; Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

dev.to — LLM tag TIER_1 English(EN) · Mihai Perdum · 2026-10-22 04:59

AI基准测试可靠吗？32个模型，每个模型都构建两次

<p>Are AI benchmarks reliable? I think a single run on a long agentic coding task is a lot less reliable than the leaderboards make it look. On our Forge 2.0 benchmark, 32 AI models each built the same app twice, independently, and for the mid-range models one build's score can s…

本文如何被排名

报道来源 [1]

AI基准测试可靠吗？32个模型，每个模型都构建两次

相关实体

相关话题