split conformal prediction
PulseAugur coverage of split conformal prediction — every cluster mentioning split conformal prediction across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新研究量化了分布偏移下每类覆盖的成本
研究人员分析了在训练和测试数据之间发生分布偏移时，识别系统中实现有效每类覆盖的成本。他们发现，虽然分裂保形预测（split conformal prediction）能保持边际覆盖，但每类覆盖可能严重失败。该研究提出了恢复每类有效性的方法，指出每类少量目标标签就足够了，但同时实现效率和有效性需要更多的标签，其数量与类别数量和效率损失容忍度成正比。一项使用骨架动作识别的案例研究表明，仅使用源标签进行每类校准就能恢复相当一部分覆盖差距。
-
新研究推进一致性预测以进行不确定性量化 · 跟踪 8 个来源
研究人员开发了新的理论框架和计算方法来增强一致性预测，这是一种用于量化机器学习模型中不确定性的技术。一篇论文提出了一种最优数据划分策略，用于分割一致性预测，以在保持覆盖保证的同时最小化预测区间长度，适用于包括神经网络在内的各种回归设置。另一项研究引入了近似留一估计器来加速一致性预测，通过显著减少运行时间，在覆盖率和效率方面可与精确方法相媲美。此外，还在探索用于分类任务（特别是长尾数据集）的宏观覆盖保证以及处理完全一致性预测中随机性的新方法。
-
新研究质疑保形预测指标并提出尾部特定保证
两篇新研究论文探讨了保形预测领域的进展和批判性评估。第一篇论文介绍了一种为上限和下限尾部提供特定保证的预测区间构建方法，该方法在金融应用中展示了改进的方向校准和效用。第二篇论文质疑了保形预测的标准评估指标，强调了一种可以欺骗性地缩短区间长度同时保持覆盖率的“偏见技巧”，并提出了一种新的指标——区间稳定性——来检测此类技术。
-
通过激活探针检测AI代理的凭证泄露
研究人员开发了新的方法来检测AI代理何时可能泄露敏感凭证。一种方法使用激活探针在代理输出信息之前识别凭证访问。另一种方法采用蜜罐令牌和分裂保形预测来检测特定格式的泄露数据。此外，一个累积会计系统跨多个对话轮次跟踪泄露预算，以捕获更复杂的攻击。