Clopper-Pearson
PulseAugur coverage of Clopper-Pearson — every cluster mentioning Clopper-Pearson across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的LLM合规框架突显了提示测试中的统计局限性
一个名为边界压力协议（BSP）的新统计合规框架已被开发出来，以解决传统LLM评估方法的不足之处。该框架强调，由于置信区间宽泛，简单的及格/不及格率不足以衡量模型性能，并提出使用置信区间的上限来进行分级。BSP将失败分为几种类型，如源混淆（F1）、显著性敏感性（F2）、多轮衰减（F3）、反证发现（F4）和截断（F5），并强调在优化一种失败类型而忽略其他类型会导致系统不可靠。该框架还纳入了一个LLM裁判进行裁决，要求其与人类标签的Cohe…
-
研究揭示随机测试低估了神经算子的误差
一篇新发表在arXiv上的研究调查了神经算子的准确性，特别是那些利用基于波的处理器进行傅里叶层的神经算子。研究强调，在制造和对齐变化下，随机设备测试显著低估了这些算子的最坏情况误差。通过采用定向搜索方法，研究发现搜索到的设备上的误差比在大量随机抽样设备上观察到的误差大得多，这表明当前此类硬件的典型验证方法存在严重缺陷。
-
LLM评估置信区间因数据聚类而过于狭窄
评估语言模型的常见假设是每个测试示例都是独立的，但在实践中这通常会被违反。当示例是聚类的（例如，来自同一文档的多个问题或同一对话的多个轮次）时，它们携带重叠的信息，导致置信区间比应有的更窄。这种统计偏差可能导致研究人员错误地认为他们取得了显著的改进，而实际上并没有。解决方案是通过对整个聚类进行重采样，而不是对单个示例进行重采样，以准确反映有效的样本量并纠正置信区间宽度。
-
研究发现，AI风险控制方法在分组部署下会失效
一篇新发表在arXiv上的研究论文探讨了选择性预测方法在AI系统风险控制中的有效性。研究发现，诸如朴素阈值之类的常见做法可能导致虚假的安全感，在许多试验中错误率显著超过了声明的预算。诸如Clopper-Pearson和下注置信上限等认证方法表现更好，但由于可交换性前提被破坏，在分组部署下仍然出现超额。