研究人员引入了“超越设计效应”（Exceedance Design Effect）来解决使用阈值的机器学习系统中有效样本量的问题。传统方法假设数据是独立的，但现代系统由于共享提示或推理痕迹，数据常常是聚类的。这个新指标提供了更准确的计数，说明阈值所需的独立观测值数量，它考虑了聚类分数越过阈值的频率，而这个频率会随着阈值水平的变化而变化。研究结果表明，当前的共形文献中的修正是不准确的，并且数据集的有效样本量不是一个单一值，而是随阈值设置而变化。 AI
影响 引入了一种新的统计方法，以提高使用阈值的AI系统的可靠性，特别是在数据聚类的情况下。
排序理由 学术论文发布在arXiv上，详细介绍了一种新的统计方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
