Binomial model

新研究强调了人工智能模型评估指标的局限性

一篇新的 arXiv 论文探讨了当前人工智能模型评估方法的局限性，特别是关注 pass@k 指标。研究表明，固定采样评估只能准确识别收集样本数（n）以下的模型性能。超出此点后，推断出的 pass@k 值变得模糊不清，潜在性能差异可能从 1.5 倍到超过 2600 倍不等。研究结果表明，中间规模的失败率本身并不能决定模型的整体性能宽度，并为评估参数缩放定律的假设提供了一个基准。