Conformal Risk Control
PulseAugur coverage of Conformal Risk Control — every cluster mentioning Conformal Risk Control across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新型图-Transformer模型提升金融欺诈检测能力
研究人员开发了GTFD，这是一种新颖的图-Transformer模型，旨在增强对公司交易网络中复杂金融欺诈的检测能力。该模型利用多头图注意力网络整合支付图的结构信息，并结合门控Transformer处理时间序列。GTFD在基准数据集上取得了最先进的性能，在AUROC、F1分数和准确率方面均有显著提升，同时显著减少了误报并提高了对协同欺诈团伙的召回率。
-
新的OQRC方法通过有限样本保证增强了机器学习模型的安全性
研究人员推出了一种名为基于占用率的分位数风险控制（OQRC）的新方法，旨在提高机器学习模型的安全性和可靠性。该方法扩展了现有的共形风险控制框架，以处理基于分位数的风险度量，提供了具有有限样本有效性的更严格的风险控制界限。OQRC通过将风险控制表述为一个有限占用问题，对损失空间进行划分并估计测试损失分布来实现这一点。理论分析表明，OQRC的界限以O_p(n^{-1/2})的速率收敛于最优界限，实验证明风险差距显著减少，高达78.64%。
-
新方法改进开放式对话中的LLM评判
研究人员开发了用于评估开放式对话场景中大型语言模型（LLM）的新方法。这些方法统称为多专家一致性风险控制（CRC），旨在通过汇总多位专家的输出来提高LLM判断的准确性和可靠性。提出的技术包括分数平均法和决策投票法，它们可以提高同质专家小组的表现。对于具有不同评分标准的异质专家小组，引入了一种称为边际校准一致性共识（MC3）的新方法，该方法能有效适应这些差异。
-
研究发现：AI模型用于CT分割时在领域迁移方面存在困难
研究人员开发了一种控制多器官CT分割风险的方法，旨在为AI模型提供器官特定的召回保证。该研究使用在AMOS上训练的nnU-Net模型校准了每器官阈值，然后审计了其向RAOS数据集的可迁移性。虽然AMOS控制是成功的，但在迁移后，相当数量的器官超出了可接受的风险阈值，这表明领域迁移存在挑战。
-
新的HG-CRC框架增强了LLM在子群体中的风险控制
研究人员开发了一个名为分层组条件共形风险控制（HG-CRC）的新框架，以提高大型语言模型的可靠性。该方法确保风险保证不仅在整体上得到满足，而且在模型用户群体的特定子群体中也得到满足，解决了边际保证可能掩盖群体过度暴露于错误的问题。HG-CRC通过应用分层结构和Bonferroni校正来实现这一点，仅需要一个独立的校准集而无需重新训练模型。在Qwen3-4B和Llama 3.1 8B-Instruct等模型上的评估表明，在ARC Cha…
-
新框架评估LLM输出的可认证性，识别理论极限
研究人员开发了一个框架，用于评估大型语言模型（LLM）在命名实体识别和问答等结构化生成任务中的输出可认证性。他们得出了一个不可能性的结果，指出了在何种情况下，一致性风险控制（CRC）无法满足用户指定的风险目标。该研究还分析了一系列界限，包括Hoeffding、经验Bernstein和e-CRC，证明了认证率的显著提高，尤其是在Hoeffding到Bernstein之间。在数据集迁移下，自适应一致性推理（ACI）被验证可以减少风险目标违…
-
联邦共形风险控制协议解决了医院数据漏洞
研究人员开发了一种新的联邦共形风险控制（CRC）协议，以解决标准CRC在多机构部署中存在的问题。跨机构汇总校准分数的标准方法可以保护平均水平的医院，但无法保证相当一部分个别站点的覆盖率。相反，每个站点的本地CRC方法会将预测集膨胀到无法使用的程度。提出的基于收缩的协议仅将每个站点的经验风险曲线传输到服务器，服务器然后计算每个站点的收缩正则化阈值，从而平衡最坏情况下的覆盖率和预测集的效率。
-
新方法应对基础模型在提示和领域迁移下的风险
研究人员开发了PromptShift-CRC，一种新颖的漂移感知一致性风险控制方法，专为应对提示和领域迁移不断演变的基础模型而设计。该方法通过嵌入提示和响应，根据相关性和时新性动态调整校准示例的权重，并实时更新风险级别，从而解决了静态校准的局限性。在合成和公开基准上的评估表明，PromptShift-CRC在静态方法失效的情况下仍能有效控制风险，尤其是在问答和摘要事实性等应用中。
-
新方法使用决策校准预测集优化电力系统
研究人员开发了一种名为决策校准预测集的新方法，用于在不确定性下优化电力系统运行。该方法根据下游决策的可靠性来校准不确定性集，而不是仅仅基于预测覆盖率。通过使用部分输入凸神经网络和受保风险控制启发的参数，该方法有效地控制了不确定性集的体积以满足运行约束。数值实验表明，与标准校准方法相比，该技术能够更准确地满足约束并降低运行成本。
-
Conf-Gen 框架将一致性预测应用于生成式 AI 不确定性
研究人员推出了一种名为 Conf-Gen 的新框架，旨在将一致性风险控制 (CRC) 应用于生成式 AI 模型。该方法解决了传统一致性预测 (CP) 与无监督生成模型（如 LLM 和图像生成器）不兼容的问题。Conf-Gen 放宽了理论假设，以便在这些先进的 AI 系统中实现不确定性量化，并将其应用扩展到新的领域。
-
AI模型CRC-Screen认证DNA合成订单的危害性
研究人员开发了一种名为CRC-Screen的新方法，以提高筛查DNA合成订单潜在危害的准确性。该系统解决了当前方法的一个关键缺陷，即当危险序列属于参考数据库中不存在的分类家族时，筛查就会失败。CRC-Screen结合了多种信号，包括与已知毒素的相似性、基于LLM的评估以及嵌入相似性，以实现认证的漏报率低于指定阈值。