Conformal prediction
PulseAugur coverage of Conformal prediction — every cluster mentioning Conformal prediction across labs, papers, and developer communities, ranked by signal.
10 天有情绪数据
-
AI框架通过可靠的分子性质预测增强药物发现能力
研究人员开发了一个新的共形预测框架，旨在提高AI在药物发现中的可靠性，尤其是在处理标签偏移时。该方法通过用边际标签概率比加权共形分数来生成统计上严格的预测区间，即使在分子性质分布发生变化时也能进行稳健的不确定性量化。该方法旨在增强对关键分子性质（如溶解度、效力和毒性）的AI驱动预测的信任度，从而支持药物开发流程中更明智的决策，并符合监管机构对透明度的要求。
-
新的DRACP方法提供可靠的经济预测校准
一种名为动态模型感知保校准（DRACP）的新方法已被开发出来，以提高经济预测的可靠性，特别是在处理数据分布移位时。DRACP结合了密度比、局部核和模型感知加权以及在线显著性控制器。虽然效率不是最高，但DRACP表现出卓越的校准性能，保持最接近标称0.90的覆盖率，并在近期通胀飙升期间表现稳健，使其成为需要保证覆盖率的应用的有力选择。
-
法律AI研究发现不确定性融合能提升信任度而非预测能力
一篇新研究论文探讨了将各种不确定性量化工具与大型语言模型相结合用于法律案件预测的有效性。研究发现，尽管与直接使用大型语言模型相比，这些流水线并未提高预测准确性，但它们显著增强了系统确定哪些案件可以自动化处理、哪些需要人工审查的能力。研究表明，此类流水线在法律AI中的主要好处不是锐化预测，而是校准系统决策过程中的信任度。
-
树莓派成为原生边缘计算机器学习气象站
一个项目已将树莓派 Zero 2 W 和 Sense HAT V2 改造成了一个独立的、原生边缘计算的机器学习气象站。该设置在没有云连接或重型机器学习框架的情况下运行，利用纯 NumPy 实现进行高级统计建模，包括卡尔曼滤波和共形预测。该系统持续更新其本地大气模型，生成校准的不确定性区间，并在 Sense HAT 的 LED 矩阵上显示动画预测，整个项目是开源的。
-
新的共形对齐方法提高了边缘AI的可靠性
研究人员开发了一种名为基于共形对齐（CAb）的级联新方法，以提高边缘智能系统的可靠性。该方法确保设备上模型所做的预测与更强大的云模型所做的预测一样，在包含真实标签的概率方面保持指定水平。通过将边缘到云的升级视为一个多假设检验问题，CAb 选择性地将输入卸载到云端，从而平衡了覆盖率、延迟率和预测集大小。在图像分类和问答基准测试上的实验证明了CAb在保持条件覆盖率的同时减少对云的依赖方面的有效性。
-
为噪声数据和隐私开发深度学习置信度校准方法
本论文探讨了提高深度学习系统置信度校准的方法，特别是在高风险应用中，可靠的不确定性量化至关重要。它通过提出一个使用估计噪声模型重建无噪声置信度估计的框架来解决标签噪声和域偏移等挑战。该研究还扩展到无监督域适应，通过从源性能和域差异估计目标域准确性来实现无需标记目标数据即可进行校准。此外，它引入了一个局部差分隐私的共形预测框架，以在确保隐私的同时保持可靠的不确定性量化。
-
新的CASCADE框架增强了多模态学习中的后门检测能力
研究人员开发了一个名为CASCADE的新框架，用于检测多模态对比学习（MCL）中的后门攻击。现有方法通常依赖CLIPScore指标，但由于重叠的分数分布和模糊样本缺乏统计保证，这种方法存在局限性。CASCADE集成了共形预测，为识别被污染的图像-字幕对提供可证明的置信度界限，并采用两阶段的粗粒度到细粒度检测过程。在CC3M数据集上的实验表明，CASCADE在各种攻击下都有效，实现了高准确性和鲁棒性。
-
新框架审计和修复阿尔茨海默病预测模型中的公平性差距
研究人员开发了一个新框架，用于审计和修复阿尔茨海默病预测模型中的公平性问题。标准的保形预测方法虽然能保证整体覆盖率，但可能掩盖特定患者亚组中显著的覆盖不足。本研究发现，高风险患者，特别是那些有遗传易感性或严重疾病的患者，经历了严重的覆盖不足。所提出的框架使用交叉保形池化和亚组特定校准来恢复这些弱势群体的目标覆盖率。
-
新研究推进一致性预测，以改进机器学习的不确定性量化 · 跟踪4个来源
研究人员正在探索先进的一致性预测技术，以改进机器学习中的不确定性量化。一篇论文介绍了在线反馈之外的一致性预测（OCPQ），该方法可以在没有直接反馈的情况下输出预测或查询标签，并实现强大的遗憾和覆盖保证。另一项研究将“残差信息差距”形式化，以解释为什么一致性预测中的边际覆盖并不总是等同于预测质量。此外，正在开发用于局部一致性预测的新方法，为条件有效性和效率提供有限样本保证，并提出了一种称为LoBoost的特定方法，用于针对梯度提升树的快…
-
Conformal Bandits 框架整合了统计有效性和奖励效率
研究人员推出了一种名为 Conformal Bandits 的新框架，该框架将 Conformal Prediction 整合到用于顺序决策的 bandit 问题中。这种方法旨在提供统计有效性并提高奖励效率，尤其是在传统方法（如 Thompson Sampling 和 Upper Confidence Bound）可能遇到困难的弱臂可分性场景中。该框架提供了有限样本预测覆盖保证，并通过模拟和投资组合分配的应用得到了证明，在遗憾和风险调…
-
新调查详细介绍了面向可信深度学习的不确定性量化
一篇新发布的arXiv调查论文详细介绍了深度学习中不确定性量化的方法，重点关注与安全关键应用中可信AI相关的技术。该论文将方法分为贝叶斯神经网络、蒙特卡洛Dropout、深度集成和单通道方法。它还回顾了用于总结不确定性的度量，并讨论了在大型语言模型中的应用，强调了开放的研究方向。
-
新的基准测试表明 Mondrian CP 提高了不平衡数据的置信度量化
一项新的基准研究评估了高风险决策系统中的置信度量化方法，特别是在处理不平衡数据和不对称错误成本的情况下。研究发现，标准的保形预测方法在罕见的、成本高昂的少数类覆盖率方面存在显著不足。相比之下，条件类（Mondrian）保形预测在少数类覆盖率方面有了显著提高。当与成本控制的弃权机制相结合时，与传统方法相比，Mondrian CP 有效地降低了预期的决策成本，为部署可靠的决策支持系统提供了实际指导。
-
新框架FinAbstain通过不确定性校准改进LLM金融预测
研究人员开发了FinAbstain，一个旨在提高大型语言模型金融预测可靠性的框架。该系统使用多模态检索增强生成（RAG）仅在置信度高时选择性地预测结果，否则则弃权。它结合了等渗回归和共形预测等多种方法来校准不确定性，旨在减少金融预测中的错误和回撤。
-
新论文批判性分析医学影像共识方法
一篇新论文批判性地分析了医学影像中的共识分割方法，发现STAPLE（同时真实性和性能水平估计）通常会简化为次优多数投票，尤其是在类别不平衡的情况下。研究表明，简单的多数投票可以作为一个出人意料的有效基线，而结合图像数据的深度共识模型在可处理性方面显示出希望。作者提倡采用更原则性的共识方法，并强调了保形预测在不确定性保证方面的潜力。
-
New Conformal Prediction method tackles noisy labels in regression
研究人员开发了一种新的共形预测（CP）方法，该方法能有效处理带有噪声标签的回归模型。该方法建立了一个数学上可靠的程序，即使在校准数据包含不准确信息的情况下，也能估计正确的CP阈值。所提出的算法旨在适用于连续回归问题，并在带有模拟标签噪声的医学成像数据集上展示了优于现有方法的性能，其结果接近于使用干净数据获得的结果。
-
新研究通过自适应策略推进在线一致性推理
两篇新研究论文探讨了在线一致性推理的进展，这是一种用于创建具有保证覆盖率的预测集的_方法_。第一篇论文《通过Blackwell可及性视角进行的自适应一致性推理》将问题重新表述为一场博弈，并引入了一种策略，该策略可确保有效性，同时根据底层数据随机性调整效率。第二篇论文《具有回顾性调整的在线一致性推理，可更快地适应分布变化》提出了一种新颖的方法，该方法使用回归和留一法更新来追溯性地调整过去的预测，以更好地适应不断变化的数据分布，预测区间宽…
-
新的共形预测方法增强了空间事件预测
研究人员开发了一种新颖的共形预测方法，旨在为热带气旋和地震等空间事件创建经过校准的预测集。该方法将空间点云表示为经验测量，并使用 Wasserstein 距离对其进行评分，确保预测集保持在训练数据流形附近。该方法旨在改进自然灾害预测的不确定性量化，与现有基线相比，在较低的能量和流形距离下实现了接近名义的覆盖率。
-
新的保形预测编程框架解决了机会约束优化问题
研究人员推出了一种名为保形预测编程（CPP）的新框架，旨在解决机会约束优化问题。CPP 利用随机变量的样本和保形预测的核心概念分位数引理，将这些复杂问题转化为确定性问题。CPP 的一个关键优势在于其独立的校准步骤，即使在标准先验假设不满足或过于保守的情况下，也能提供稳健的、事后保证。该框架还支持各种保形预测技术，包括用于分布偏移的稳健 CPP 和用于类别条件约束的 Mondrian CPP，证明了其在案例研究中的通用性和有效性。
-
ConRad框架增强了医学影像组学的一致性预测
研究人员开发了ConRad，一个用于影像组学一致性预测的新框架，旨在提高医学影像测量值的效率和可靠性。ConRad通过构建适应性预测区间来解决过度自信或校准不佳的分割模型问题，这些区间整合了测试时信息，如图像外观、掩模几何形状和分割不确定性。跨多个数据集和影像组学目标的实验表明，ConRad在保持覆盖率保证的同时实现了更好的特征级效率，其中分割边界不确定性被确定为其性能的关键因素。
-
新方法通过反事实策略估计增强了安全贝叶斯优化
研究人员开发了一种新颖的安全贝叶斯优化方法，专为干预措施不得将结果降低到特定阈值以下决策场景而设计。该方法解决了在遵守安全约束的同时优化目标所面临的挑战，特别是在基线策略的结果是反事实且未被观察到的情况下。通过采用一致性预测来估计这些反事实结果的不确定性区间，该系统可确保约束违反率保持在用户指定的范围内，并适应协变量偏移和正式的安全证明。