实体
Clopper-Pearson
Clopper-Pearson
PulseAugur coverage of Clopper-Pearson — every cluster mentioning Clopper-Pearson across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
LLM评估置信区间因数据聚类而过于狭窄
评估语言模型的常见假设是每个测试示例都是独立的，但在实践中这通常会被违反。当示例是聚类的（例如，来自同一文档的多个问题或同一对话的多个轮次）时，它们携带重叠的信息，导致置信区间比应有的更窄。这种统计偏差可能导致研究人员错误地认为他们取得了显著的改进，而实际上并没有。解决方案是通过对整个聚类进行重采样，而不是对单个示例进行重采样，以准确反映有效的样本量并纠正置信区间宽度。
-
研究发现，AI风险控制方法在分组部署下会失效
一篇新发表在arXiv上的研究论文探讨了选择性预测方法在AI系统风险控制中的有效性。研究发现，诸如朴素阈值之类的常见做法可能导致虚假的安全感，在许多试验中错误率显著超过了声明的预算。诸如Clopper-Pearson和下注置信上限等认证方法表现更好，但由于可交换性前提被破坏，在分组部署下仍然出现超额。