English(EN) We built a benchmark, then caught it strangling the models it was grading

AI基准测试因令牌限制而存在缺陷，修正结果显示模型在新任务上遇到困难

作者 PulseAugur 编辑部 · [1 个来源] · 2026-08-21 23:37

一个旨在评估LLM路由能力的基准测试OmnisBench被发现存在缺陷，其输出令牌限制无意中惩罚了推理时间过长的模型。最初，该基准测试即使对先进模型也报告了低分，但在审查原始响应后，发现模型在提供解决方案之前就达到了令牌限制。在调整输出令牌限制以适应更长的推理过程后，基准测试产生了更准确的结果，由于数据污染导致小型模型得分显著下降，而路由策略的有效性则得到显著提高。 AI

影响强调了仔细设计和验证基准测试以准确评估LLM能力的关键需求，尤其是在推理和输出生成方面。

排序理由该项目描述了一个AI基准测试中一个缺陷的发现和纠正，这是一种对评估方法的研究。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 0 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该项目描述了一个AI基准测试中一个缺陷的发现和纠正，这是一种对评估方法的研究。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, other; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: 47 days old; Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

dev.to — LLM tag TIER_1 English(EN) · Developer at Fortitude Omnis Group · 2026-08-21 23:37

我们构建了一个基准测试，然后发现它在扼杀它正在评估的模型

<p>A couple of day ago I posted about OmnisBench, our open benchmark for LLM routing, specifically our LLM Router <a href="https://omnisbench.fortitude-omnis.group/" rel="noopener noreferrer">OmnisRouter</a> , and made a fuss about how you can re-grade every number yourself becau…

本文如何被排名

报道来源 [1]

我们构建了一个基准测试，然后发现它在扼杀它正在评估的模型

相关实体

相关话题