English(EN) Our 4B beat Claude Opus on a 440K-token corpus. Then it came last on the public benchmark.

4B模型在自定义语料库上击败Claude Opus，但在公开基准测试中失败

作者 PulseAugur 编辑部 · [1 个来源] · 2026-09-05 03:57

一个拥有40亿参数的模型oolong，在一个包含44万token的语料库上正确回答了一个问题，表现令人印象深刻，在此特定任务上超越了Claude Opus。然而，在公开的OOLONG-synth基准测试中进行评估时，该模型表现不佳，得分仅为0.155，在同类模型中排名垫底。这种差异揭示了一个关键缺陷：该模型的提取合同是为其定制语料库量身定制的，未能适应公开基准测试中存在的各种问题格式。问题不在于模型处理文本的能力，而在于其僵化的提取机制，该机制无法处理基准测试提出的多维度查询。 AI

影响强调了鲁棒评估基准测试的重要性，这些基准测试能够测试各种查询类型，因为专业化模型在应用于通用任务时可能会失败。

排序理由该条目详细介绍了特定模型在基准测试上的表现，包括与已知模型的比较。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 27 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该条目详细介绍了特定模型在基准测试上的表现，包括与已知模型的比较。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: model release, other; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

dev.to — LLM tag TIER_1 English(EN) · Rickesh T N · 2026-09-05 03:57

我们的4B在440K token语料库上击败了Claude Opus。然后它在公开基准测试中垫底。

Two results from the same system, three weeks apart, and the second one is the useful one. Result A. A 4B model on a 6GB laptop GPU answered a 440,000-token aggregation question correctly. Claude Opus 4.8, reading the same corpus in one call, got it rig…

本文如何被排名

报道来源 [1]

我们的4B在440K token语料库上击败了Claude Opus。然后它在公开基准测试中垫底。

相关实体

相关话题