English(EN) Zero Gap Is Not Restoration: Stratified Per-Question Probability Evaluation and Step-wise Mitigation of Benchmark Contamination

新指标SA-PPG和策略RailCap应对AI基准污染

作者 PulseAugur 编辑部 · [1 个来源] · 2026-08-10 04:00

一篇新论文介绍了SA-PPG，这是一个用于评估AI模型基准污染的分层评估指标。该指标旨在通过分析逐题性能和缓解G-AP等现有方法的污染问题，更准确地评估模型的真实能力。该研究还提出了RailCap，一种新颖的缓解策略，可动态调整生成以分散响应分布并减少对恢复的高估。 AI

影响引入了一种更准确的评估AI模型的方法，有望带来更可靠的基准测试结果和改进的模型开发。

排序理由学术论文，介绍了用于AI基准污染的新评估指标和缓解策略。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Ruijie Hou, Yueyang Jiao, Zhao Wang, Yingming Li · 2026-08-10 04:00

零差距并非复原：分层式逐题概率评估与基准污染的逐级缓解

arXiv:2608.07341v1 Announce Type: cross Abstract: Test data from public benchmarks inevitably leaks into pretraining corpora, inflating evaluation scores once memorized. \textbf{Contamination mitigation evaluation} intervenes in the decoding process to suppress memorization and r…