PulseAugur
中
实时 09:17:10
实体 conditional-Binomial model

conditional-Binomial model

PulseAugur coverage of conditional-Binomial model — every cluster mentioning conditional-Binomial model across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_244677 ·

    新研究强调了人工智能评估方法的局限性

    一篇新论文探讨了机器学习中 pass@k 评估的局限性，特别是在外推到超出收集样本数量的范围时。研究表明，条件二项式模型中的固定 n 成功计数只能识别潜在的每任务成功分布的有限范围。这意味着即使有大量任务，外推到 k > n 的 pass@k 值也无法可靠地识别。该研究使用 Brown 等人的数据集，展示了反事实评估如何导致失败率的显著模糊性。