一篇新论文探讨了机器学习中 pass@k 评估的局限性，特别是在外推到超出收集样本数量的范围时。研究表明，条件二项式模型中的固定 n 成功计数只能识别潜在的每任务成功分布的有限范围。这意味着即使有大量任务，外推到 k > n 的 pass@k 值也无法可靠地识别。该研究使用 Brown 等人的数据集，展示了反事实评估如何导致失败率的显著模糊性。 AI
影响 强调了当前人工智能模型评估中潜在的不准确性，表明需要更稳健的方法。
排序理由 该集群包含一篇讨论机器学习模型新评估方法的学术论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
Repeated-sampling evaluations increasingly extrapolate pass@k far beyond the number n of samples collected per problem. We show that, in the pooled/random-task conditional-Binomial model, fixed-n success counts identify only the n free moments of the latent per-task success distr…
arXiv:2609.09245v1 Announce Type: new Abstract: Repeated-sampling evaluations increasingly extrapolate pass@k far beyond the number n of samples collected per problem. We show that, in the pooled/random-task conditional-Binomial model, fixed-n success counts identify only the n f…