PulseAugur
实时 10:14:00
实体 When Is Benchmark Contamination Detectable? Information Limits and Power-Calibrated Audits

When Is Benchmark Contamination Detectable? Information Limits and Power-Calibrated Audits

PulseAugur coverage of When Is Benchmark Contamination Detectable? Information Limits and Power-Calibrated Audits — every cluster mentioning When Is Benchmark Contamination Detectable? Information Limits and Power-Calibrated Audits across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_193288 ·

    新研究详细介绍了检测人工智能基准污染的方法

    一篇新研究论文探讨了人工智能模型中基准污染的可检测性。该研究引入了一个正式框架,用于区分干净的基准和功率不足的审计。它提出了一种使用混合 Q_alpha 的方法,其中 alpha 代表看到的项目比例,并表明可检测性取决于 alpha、rho(行为可分离性)和样本数量(m)。研究还强调,虽然校准有效性可以预测功率曲线,但高斯预算在小样本量下可能会被错误校准,这表明需要一个两阶段规划器来修复预算并确保有效性。