English(EN) SWE-bench Multilingual on Hugging Face: 15 of 34 Scores Are Not a Count Out of 300 Tasks

SWE-bench Multilingual 排行榜显示分数和提交来源存在疑问

作者 PulseAugur 编辑部 · [1 个来源] · 2026-11-09 13:47

Hugging Face 上的 SWE-bench Multilingual 排行榜旨在评估 LLM 在九种语言的 300 个真实 GitHub 问题上的编码任务表现，但存在不一致之处。许多列出的分数，包括前两名，似乎并非来自 300 个任务的有效百分比，表明它们可能是平均值或使用了不同的分母。此外，相当一部分提交来自公开的拉取请求，其中许多由少数几个账户提交，这引发了对结果的验证和独立性的质疑。 AI

影响引发了对 LLM 编码基准测试结果可靠性以及排行榜完整性的担忧。

排序理由对基准测试排行榜和数据完整性的分析。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 37 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 对基准测试排行榜和数据完整性的分析。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, product; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

dev.to — LLM tag TIER_1 English(EN) · Ward Ed · 2026-11-09 13:47

SWE-bench Multilingual 在 Hugging Face 上线：34 个分数中有 15 个并非来自 300 个任务的计数

<h2> TL;DR </h2> <ul> <li>On November 9, 2026 the Hugging Face SWE-bench Multilingual board lists <strong>34 rows from 34 repos, none verified.</strong> 30 rows are read from a pull request that is still open (all 30 opened by one of two accounts) and 4 from a repo's main branch.…

本文如何被排名

报道来源 [1]

SWE-bench Multilingual 在 Hugging Face 上线：34 个分数中有 15 个并非来自 300 个任务的计数

相关实体

相关话题