研究人员引入了SA-PPG，这是一种用于评估AI模型基准污染缓解策略的新指标。当前的G-AP等方法存在缺陷，因为它们对每道题的性能进行平均，掩盖了真实能力。SA-PPG通过根据模型对每道题的求解概率进行分层评估来解决这个问题。该论文还提出了RailCap，这是一种新颖的缓解策略，通过在样本恢复到贪婪轨迹时限制响应概率来干预生成过程，旨在分散分布并减少记忆。 AI
影响 引入了更准确评估AI模型性能和缓解数据泄露的新方法。
排序理由 该集群包含一篇学术论文，详细介绍了用于AI基准污染的新指标和缓解策略。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2608.07341v1 Announce Type: cross Abstract: Test data from public benchmarks inevitably leaks into pretraining corpora, inflating evaluation scores once memorized. \textbf{Contamination mitigation evaluation} intervenes in the decoding process to suppress memorization and r…
Test data from public benchmarks inevitably leaks into pretraining corpora, inflating evaluation scores once memorized. Contamination mitigation evaluation intervenes in the decoding process to suppress memorization and restore a contaminated model's genuine capability, but its p…