PulseAugur
中
实时 23:17:11
实体 Benchmark Contamination 101: How Train/Test Overlap Inflates Leaderboard Scores (and How to Catch It)

Benchmark Contamination 101: How Train/Test Overlap Inflates Leaderboard Scores (and How to Catch It)

PulseAugur coverage of Benchmark Contamination 101: How Train/Test Overlap Inflates Leaderboard Scores (and How to Catch It) — every cluster mentioning Benchmark Contamination 101: How Train/Test Overlap Inflates Leaderboard Scores (and How to Catch It) across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_283708 ·

    基准污染夸大AI模型分数;检测方法说明

    基准污染,也称为训练/测试重叠或数据泄露,是指测试示例或其近乎重复的样本包含在模型的训练数据中。这会导致排行榜分数虚高,因为模型会记住答案而不是泛化,从而造成能力上的虚假印象。文章概述了三种检测这种污染的方法:n-gram重叠、金丝雀字符串和成员推理,并强调由于评估环境中固有的风险以及基准的过时,需要仔细审查自我报告的分数。