Conformal prediction
PulseAugur coverage of Conformal prediction — every cluster mentioning Conformal prediction across labs, papers, and developer communities, ranked by signal.
16 天有情绪数据
-
新的保形预测编程框架解决了机会约束优化问题
研究人员推出了一种名为保形预测编程（CPP）的新框架，旨在解决机会约束优化问题。CPP 利用随机变量的样本和保形预测的核心概念分位数引理，将这些复杂问题转化为确定性问题。CPP 的一个关键优势在于其独立的校准步骤，即使在标准先验假设不满足或过于保守的情况下，也能提供稳健的、事后保证。该框架还支持各种保形预测技术，包括用于分布偏移的稳健 CPP 和用于类别条件约束的 Mondrian CPP，证明了其在案例研究中的通用性和有效性。
-
ConRad框架增强了医学影像组学的一致性预测
研究人员开发了ConRad，一个用于影像组学一致性预测的新框架，旨在提高医学影像测量值的效率和可靠性。ConRad通过构建适应性预测区间来解决过度自信或校准不佳的分割模型问题，这些区间整合了测试时信息，如图像外观、掩模几何形状和分割不确定性。跨多个数据集和影像组学目标的实验表明，ConRad在保持覆盖率保证的同时实现了更好的特征级效率，其中分割边界不确定性被确定为其性能的关键因素。
-
新方法通过反事实策略估计增强了安全贝叶斯优化
研究人员开发了一种新颖的安全贝叶斯优化方法，专为干预措施不得将结果降低到特定阈值以下决策场景而设计。该方法解决了在遵守安全约束的同时优化目标所面临的挑战，特别是在基线策略的结果是反事实且未被观察到的情况下。通过采用一致性预测来估计这些反事实结果的不确定性区间，该系统可确保约束违反率保持在用户指定的范围内，并适应协变量偏移和正式的安全证明。
-
新研究强调了人工智能驱动的药物发现可靠性方面的一个关键缺陷
研究人员发现，在药物发现中用于量化模型可靠性的边际一致性预测方法存在一个重大问题。研究表明，在不平衡数据集上，该方法未能为少数类提供足够的覆盖率，使它们面临更高的误分类风险。这个问题存在于各种模型架构中，包括随机森林、图神经网络和化学语言模型。提出的类条件一致性预测方法有效地解决了这种覆盖不足的问题，恢复了少数类的可靠性，并提高了筛选活动的整体效用。
-
坐标奇点破坏视觉任务的共形预测
研究人员发现，在用于涉及曲面输出空间（如注视和头部姿态估计）的计算机视觉任务的共形预测方法中存在一个关键缺陷。研究表明，在平坦坐标图中定义预测误差，而不是使用无坐标方法，会在奇点附近引入几何畸变。这种畸变会导致显著的覆盖范围崩溃，在特定区域，名义上的 90% 覆盖率会下降到低至 38.9%。研究人员提出了一种无坐标测地线评分方法，该方法可以在不进行模型再训练或增加大量计算成本的情况下解决此问题。
-
新研究推进共识预测以进行不确定性量化 · 跟踪 5 个来源
研究人员开发了共识预测的新方法，这是一种用于量化机器学习模型不确定性的框架。一篇论文提出了概率伯努利预测集（BPS），它可以表达偶然性和认知不确定性，并为有效的可信集实现条件覆盖。另一种方法侧重于在再生核希尔伯特空间（RKHS）内有效地逼近完整的共识预测区域。此外，还引入了一个名为 RoBAS 的鲁棒贝叶斯辅助共识预测框架，该框架能够适应贝叶斯先验的可靠性，从而生成有效的预测集，尤其是在分布偏移的情况下。
-
新框架通过有效覆盖增强反事实决策能力
研究人员引入了一个新的框架，用于在反事实场景下进行决策，其中结果取决于所采取的行动。该框架名为策略耦合的风险规避一致性预测 (Policy-Coupled Risk-Averse Conformal Prediction, PC-RACP)，确保在决策规则本身下，实际结果的有效覆盖。PC-RACP 在分布模糊性下提供了一种极小极大最优的方法，并等同于为风险规避策略优化预测集。实验表明，PC-RACP 在保持有效覆盖的同时，比现有方法实…
-
新的STOIC框架通过基础模型增强能源预测 · 跟踪2个来源
研究人员开发了STOIC，一个用于能源需求预测的新颖框架，该框架将时空图神经网络（STGNNs）与基础模型相结合。该方法旨在提供比传统的点预测更可靠的不确定性估计，这对于电网稳定性和运营规划至关重要。STOIC将预测残差重新格式化为表格形式，以便与基础模型进行上下文学习，从而无需重新训练即可进行校准，并有效捕获复杂时空依赖性。
-
新研究探索LLM在模糊情况下的不确定性感知决策
一篇新研究论文探讨了大型语言模型（LLM）在辅导和同行评审等复杂任务中进行不确定性感知决策的算法。该研究评估了贝叶斯决策理论和风险规避方法，发现贝叶斯方法总体表现更好，尤其是在高模糊性场景下。研究强调了决策算法对LLM可信度的重要性，并指出了该领域的开放性挑战。
-
新的SOCP方法通过发现数据组来改进ML模型校准
研究人员开发了自组织一致性预测（SOCP），这是一种旨在提高机器学习模型可靠性的新校准方案，尤其是在安全关键型应用中。SOCP利用自组织映射（SOM）来发现输入数据空间中的不同组。在测试时，它通过从与查询识别组相关的本地校准缓冲区中提取信息来进行预测校准，从而解决了标准一致性预测可能忽略的区域覆盖差距。在八个基准上的实验表明，SOCP在预测集大小仅略有增加且计算开销可忽略不计的情况下，有效地减少了覆盖差距。
-
新研究推进一致性预测以进行不确定性量化 · 跟踪 8 个来源
研究人员开发了新的理论框架和计算方法来增强一致性预测，这是一种用于量化机器学习模型中不确定性的技术。一篇论文提出了一种最优数据划分策略，用于分割一致性预测，以在保持覆盖保证的同时最小化预测区间长度，适用于包括神经网络在内的各种回归设置。另一项研究引入了近似留一估计器来加速一致性预测，通过显著减少运行时间，在覆盖率和效率方面可与精确方法相媲美。此外，还在探索用于分类任务（特别是长尾数据集）的宏观覆盖保证以及处理完全一致性预测中随机性的新方法。
-
机器学习增强数据同化中的不确定性量化
一篇新的研究论文探讨了共形预测（CP）这一机器学习技术在数据同化中，特别是在数值天气预报中的不确定性量化应用。该研究使用了一个理想化的浅水模型，将三种CP变体与传统的基于集合的方法进行了比较评估。研究人员调查了CP得出的不确定性估计如何整合到数据同化周期中，并强调了CP在补充现有不确定性量化方法方面的优势和局限性。
-
不确定性感知强化学习增强化学语言模型用于药物设计
研究人员开发了将预测不确定性纳入化学语言模型（CLMs）强化学习的新方法。这些方法旨在通过引导CLMs避开化学空间的不确定区域来改进分子的从头设计。通过将不确定性视为优化目标或用于调节策略更新，模型可以实现更可靠的命中发现，提高真实命中率和真实命中总数。
-
新的预测一致性方法增强了有序分类的不确定性
研究人员开发了一种新的有序分类任务的一致性预测方法。有序分类常见于医学和金融等领域，在这些领域，理解错误的严重性至关重要。该方法利用排序概率得分（RPS），一种自然反映有序风险的评分规则，来生成具有边际覆盖保证的预测集。该方法与模型无关，并在各种数据集上证明了其有效性，与现有技术相比，在预测集宽度和有序错误覆盖方面提供了有利的权衡。
-
新的AK-MCS-C2方法通过共形预测增强失效概率估计
研究人员开发了一种名为AK-MCS-C2的新主动学习框架，该框架结合了主动克里金蒙特卡洛模拟和共形预测来估计失效概率。该方法在小样本设置下特别有效，并对预测误差提供无分布保证，提高了稀有事件估计的准确性和鲁棒性。该框架利用了自适应交叉共形策略和带有克里金代理模型的J+GP共形估计器。
-
一致性预测为AI天气预报提供严格的不确定性量化
一篇新发表在arXiv上的研究论文介绍了使用一致性预测（conformal prediction）作为一种改进AI驱动天气预报不确定性量化方法。研究表明，尽管AI模型可以生成更大的集合预报，并且在训练时考虑了概率性因素，但其统计覆盖率，尤其是在极端事件方面，可能并不可靠。通过将在线一致性预测应用于GenCast、NeuralGCM和AIFS-ENS等领先模型，研究人员在不损害其他概率指标的情况下，确保了校准的不确定性。这种后处理技术适…
-
新方法应对基础模型在提示和领域迁移下的风险
研究人员开发了PromptShift-CRC，一种新颖的漂移感知一致性风险控制方法，专为应对提示和领域迁移不断演变的基础模型而设计。该方法通过嵌入提示和响应，根据相关性和时新性动态调整校准示例的权重，并实时更新风险级别，从而解决了静态校准的局限性。在合成和公开基准上的评估表明，PromptShift-CRC在静态方法失效的情况下仍能有效控制风险，尤其是在问答和摘要事实性等应用中。
-
面向非交换数据的新型谱自适应一致性预测方法
研究人员推出了一种名为谱自适应一致性预测的新颖方法，旨在为非交换的时间索引数据集提供可靠的预测区间。该技术利用局部谱相似性形成加权一致性分位数，并在线更新失覆盖率，以适应随时间变化的预测不确定性。该方法旨在改进现有的谱加权方法，并通过模拟和真实的美国数据示例进行了演示。
-
新的经审计的保形预测方法增强了模型可靠性
研究人员推出了一种新颖的方法——经审计的保形预测（ACP），旨在提高分类模型在面对未知分布偏移时的不确定性量化能力。ACP 利用一个小型目标数据集来训练一个辅助模型，该模型可以识别预训练模型潜在的故障。通过将此审计模型集成到保形预测框架中，ACP 旨在提供具有保证的边际覆盖率和增强的条件覆盖率的预测集。
-
新的共形预测层增强了物理搜索中的异常检测
研究人员开发了一种用于新物理搜索中机器学习异常检测的新校准层。该层基于共形预测，旨在提供异常得分的统计上合理的解释，解决“elsewhere效应”和背景模型错误等问题。所提出的方法在不重新训练探测器的情况下生成有效的局部p值并校正失校准，通过消除人为的超额信号并确保可靠的误报率，证明了其在LHC Olympics数据上的有效性。