Conformal prediction
PulseAugur coverage of Conformal prediction — every cluster mentioning Conformal prediction across labs, papers, and developer communities, ranked by signal.
- instance of alphaXiv 90%
- instance of uncertainty quantification 90%
- used by ScienceCast 70%
- instance of Gotit.pub 70%
- used by random forest 70%
- affiliated with uncertainty quantification 70%
- used by CORE Recommender 60%
- competes with Monte Carlo Dropout 60%
- affiliated with Deep Ensembles 60%
- authored by alphaXiv 50%
- authored Gotit.pub 50%
- affiliated with alphaXiv 50%
11 天有情绪数据
-
新的SGCP框架增强了AI模型在子群间的可靠性
研究人员开发了随机分组保形预测（SGCP），这是一个旨在提高机器学习模型中不确定性量化可靠性的新框架，特别适用于临床环境等敏感应用。与提供总体水平保证的标准保形预测不同，SGCP通过学习一个随机分组映射来解决不同子群之间的覆盖差异。这使得样本能够从相似样本中提取校准信息，从而在不直接访问敏感属性的情况下，在亚群体中实现更一致的可靠性，并可能减小预测集的大小。
-
新方法提高AI在数据偏移下的预测准确性
研究人员推出了一种名为“草图校准”（sketched calibration）的新颖方法，以提高在处理协变量偏移时，conformal prediction 的准确性。该技术通过压缩协变量来降低与重新加权校准分数相关的计算成本，而重新加权校准分数是处理此类偏移的标准方法。该方法通过模拟和真实数据证明了其有效性，与未加权校准相比，预测集的大小显著减小，尤其是在后者失效的情况下。
-
新的共形预测方法处理空间相关数据
研究人员开发了一种新的共形预测方法，旨在处理在环境和地理应用中常见的空间相关数据。该技术称为顺序白化，通过以校准残差为条件来提高预测区间的效率和稳定性。该方法旨在提供更准确可靠的预测区间，尤其是在传统方法难以处理空间相关性的场景中，并在模拟数据和PM2.5浓度预测应用中显示出潜力。
-
新研究应对知识图谱嵌入的挑战与不确定性
两篇新的arXiv论文深入探讨了知识图谱嵌入（KGE）和表示学习的复杂性。第一篇论文介绍了KGATE，这是一个模块化的Python库，旨在通过提供一个灵活的框架来组装各种组件，从而简化KGE模型的训练和比较。第二篇论文解决了KGE中不确定性的关键问题，提出了量化和管理算法及预测不确定性的方法，以提高高风险应用中KGE预测的可靠性。
-
Conformal Prediction Theory Links Uncertainty Quantification to Information Gain
研究人员开发了一个理论框架，将保形预测（一种量化不确定性的方法）与信息论联系起来。该研究引入了源自预测集大小和覆盖范围的广义信息度量，特别展示了如何通过这些度量来表示香农互信息。这项工作验证了在机器学习中，尤其是在分类任务中，使用集合大小减小作为信息增益指标的有效性。
-
面向深度学习的时序数据新一致性预测方法
本文介绍了三种新颖的时序数据一致性预测方法，解决了时序数据固有的可交换性假设被违反的挑战。所提出的方法利用了深度序列模型，包括循环神经网络（RNN）和Transformer，以实现渐近条件覆盖保证。在真实数据集上的实验结果证明了这些深度学习增强的一致性预测技术的有效性。
-
新的校准方法提高了神经架构搜索的效率
研究人员开发了一种名为在线一致性校准（OCC）的新方法，以提高硬件感知神经架构搜索（NAS）的效率。传统的NAS方法成本高昂，因为它们需要训练每一个架构来评估其性能。OCC是conformal prediction的扩展，它使用自适应反馈控制来维持所需的一致性覆盖水平，确保指定比例的候选架构不会被错误地丢弃。这种方法在不牺牲准确性的情况下，显著减少了所需的评估次数，修剪了25-50%的候选架构，并且与静态方法或高斯过程基线相比，提供了…
-
Stepped MoE 框架提供灵活的 LLM 扩展和效率
研究人员推出了一种名为“Stepped MoE”的新型框架，它将弹性架构与稀疏门控模型相结合，以创建适应性强的大型语言模型。这种方法允许模型在推理过程中适应计算约束和特定任务要求。该框架使单个模型能够在 10 亿、20 亿、30 亿或 40 亿参数等不同容量点上运行，在保持可比延迟和减少存储需求的同时，提高了准确性。
-
新方法将一致性预测扩展到多元设置
研究人员开发了一种新颖的方法，将一致性预测扩展到多元设置，解决了复杂模型中不确定性量化的一个关键限制。这种新方法利用最优输运来构建多元一致性预测分布，提供有限样本校准和覆盖保证。该方法允许对预测集进行表征，并提供了经典Dempster-Hill过程的泛化版本，从而能够更细致地理解可能的结果及其相对可能性。
-
新方法改进了数据偏移下的保形预测
研究人员开发了一种名为指数倾斜重加权对齐（ExTRA）的方法，用于在部署后数据分布发生偏移时改进保形预测。该技术利用标记的源数据和未标记的目标输入，适应输入分布及其与结果关系的变化。虽然 ExTRA 在某些回归场景中可以将预测集长度缩短约 30%，但其有效性各不相同，并且在分类任务或目标输入对响应偏移提供的信息有限时，可能导致覆盖率显著损失。何时应用此额外的预测倾斜调整仍然是一个悬而未决的问题。
-
新的保形预测方法增强网络入侵检测
研究人员开发了一种新的网络流量入侵检测方法，该方法利用保形预测提供统计有效性保证。这种方法被称为流量感知保形预测，它在潜在攻击者机制的数据上进行校准，以在对手扰乱网络特征时保持覆盖率。对于更具适应性的攻击者，系统会排除可控特征以确保精确的覆盖率保证，尽管这可能会导致干净准确率略有下降。
-
研究发现：VLMs 难以可靠评估人行道可达性
研究人员调查了视觉语言模型（VLMs）从行人视角图像评估人行道可达性属性的能力。他们使用基于采样的共形预测，在首尔（韩国）的 514 张图像上评估了四种 VLM，并将模型输出与实地测量的真实情况进行了比较。虽然共形校准达到了名义覆盖率，但信息量因属性而异，其中有效宽度最为精确。研究发现，没有一个定量属性达到一般合规性评估所需的精度，这凸显了校准不确定性估计相对于原始响应自洽性的重要性。
-
混合机器学习-数学模型通过不确定性感知增强灌溉决策
研究人员开发了一种新颖的混合模型，该模型结合了数学水平衡原理和机器学习，以改进智能灌溉决策。该方法通过纳入不确定性量化，解决了纯数据驱动或纯物理模型的局限性。该模型在中地中海农田数据集上进行了评估，与现有基线相比，在预测土壤湿度方面显示出更高的准确性和技能，尤其是在较短的提前期。
-
加权一致性预测提高引力波探测灵敏度
研究人员开发了一种使用加权一致性预测来提高引力波探测灵敏度的新方法。该方法结合了多个独立搜索算法的输出，为候选事件提供统计上严格的置信度估计。该技术通过引入似然比重加，解决了模拟数据和真实数据之间分布偏移带来的挑战，这有助于恢复校准覆盖率并提高探测微弱信号的置信度。
-
新的COCOCO框架增强了神经符号概念模型（Neuro-Symbolic Concept-based Models）的可靠性
研究人员推出了一种名为COCOCO的新框架，旨在增强神经符号概念模型（NeSy-CBMs）的可靠性。这些模型结合了神经网络和符号推理，适用于高风险应用，但可能对其预测过于自信。COCOCO整合了保形预测（Conformal Prediction）的思想，为概念和标签预测提供严格的覆盖保证。该框架满足一致性、覆盖性和简洁性等关键要求，并在八个数据集的实验中优于现有方法。
-
多智能体LLM评估框架增强不确定性估计
研究人员开发了一个新的框架，用于估计由多个大型语言模型（LLMs）进行的评估中的不确定性。该方法利用共形预测从各种LLM裁判那里生成预测区间，旨在提供比单一裁判方法更稳定、更可靠的不确定性估计。实验表明，这种多智能体策略产生了具有覆盖保证的有效预测区间，从而实现了更一致的评估结果。
-
一致性预测在进攻性网络安全应用中的探索
一篇新论文探讨了一致性预测（CP）在进攻性网络安全中未被充分利用的应用。研究指出，虽然CP已被应用于防御领域，但在进攻性安全中的应用，例如在隐私保护机器学习和网络流量分析方面，记录较少。本文旨在通过在这些进攻性安全领域展示初步研究成果来弥合这一差距。
-
研究：同伴压力破坏AI模型不确定性量化
一篇题为“Conformity Breaks Conformal Prediction”的新研究论文，重点介绍了一种用于量化AI模型不确定性的方法——共形预测——在多智能体系统中的行为存在一个关键缺陷。研究表明，当大型语言模型（LLMs）受到同伴压力影响时，即使同伴一致给出错误答案，模型的评分机制也会发生变化。这种变化可能导致共形证书的准确性显著下降，可能导致系统对错误答案过于自信。标准的共形预测方法不足以解决这个问题，因为问题在于模…
-
新框架揭示了场景优化的精确风险-复杂度定律
研究人员开发了一个新的框架，用于理解场景优化和无分布认证方法。该框架识别了现有公式背后的确定性边界机制，并在观测边界大小随机时推导出相应的风险-复杂度定律。提出的投影边界方案允许删除非边界样本而不改变边界，从而得到条件概率证书，并加深了对仅凭观测复杂度不足的理解。
-
新论文详述了用于现代机器学习的保形预测
一篇题为“保形预测的要素”的新论文已在arXiv上发布，对该领域进行了教学性概述。该论文解释了保形预测的核心概念，强调了其作为无分布和模型无关的预测推理框架的优势。它强调了该框架即使在对数据和学习算法的假设有限的情况下，也能提供精确的有限样本保证，使其适用于现代高维数据应用。