PulseAugur
中
实时 21:22:35
实体 eval battery

eval battery

PulseAugur coverage of eval battery — every cluster mentioning eval battery across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. COMMENTARY · CL_274398 ·

    开发人员发现 LLM 评估因记住的测试答案而存在缺陷

    一位开发人员在其语言模型的评估库中发现了一个关键缺陷，由于训练数据和测试数据重叠，模型无意中记住了测试答案。这导致了虚假的正面评估结果，因为模型是在背诵而不是泛化。为了解决这个问题，实现了一个数据集构建器，以排除训练对中来源与测试来源匹配的情况，包括精确匹配和基于词语重叠的模糊匹配，从而确保模型性能得到真正评估。