实体
evalplus
evalplus
PulseAugur coverage of evalplus — every cluster mentioning evalplus across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
由于训练数据污染，LLM基准测试很快饱和
公共LLM基准测试由于其训练数据无意中包含了基准测试问题，正变得饱和且难以区分顶级模型。在HumanEval、MMLU和SWE-bench等基准测试中观察到的这种污染问题意味着模型可以获得近乎完美的分数，使得基准测试在衡量真正进展方面无效。该领域正通过增强的测试用例和私有评估来应对，但这些新方法的经济性和透明度值得仔细审视。
-
IBM 新推出的 8B Granite 4.1 模型性能超越了旧款 32B MoE 版本
IBM 发布了 Granite 4.1，这是一个专为企业设计的开源语言模型家族，包含三种尺寸（3B、8B 和 30B 参数）。值得注意的是，在 ArenaHard 和 GSM8K 等多项基准测试中，8B 密集模型表现出的性能与之前的 32B MoE 模型相当甚至更优。这一改进归功于 IBM 对数据质量的关注以及涉及 15 万亿 token 和迭代数据混合调整的复杂多阶段训练过程。