Conformal Risk Control
PulseAugur coverage of Conformal Risk Control — every cluster mentioning Conformal Risk Control across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新框架评估LLM输出的可认证性，识别理论极限
研究人员开发了一个框架，用于评估大型语言模型（LLM）在命名实体识别和问答等结构化生成任务中的输出可认证性。他们得出了一个不可能性的结果，指出了在何种情况下，一致性风险控制（CRC）无法满足用户指定的风险目标。该研究还分析了一系列界限，包括Hoeffding、经验Bernstein和e-CRC，证明了认证率的显著提高，尤其是在Hoeffding到Bernstein之间。在数据集迁移下，自适应一致性推理（ACI）被验证可以减少风险目标违…
-
联邦共形风险控制协议解决了医院数据漏洞
研究人员开发了一种新的联邦共形风险控制（CRC）协议，以解决标准CRC在多机构部署中存在的问题。跨机构汇总校准分数的标准方法可以保护平均水平的医院，但无法保证相当一部分个别站点的覆盖率。相反，每个站点的本地CRC方法会将预测集膨胀到无法使用的程度。提出的基于收缩的协议仅将每个站点的经验风险曲线传输到服务器，服务器然后计算每个站点的收缩正则化阈值，从而平衡最坏情况下的覆盖率和预测集的效率。
-
新方法应对基础模型在提示和领域迁移下的风险
研究人员开发了PromptShift-CRC，一种新颖的漂移感知一致性风险控制方法，专为应对提示和领域迁移不断演变的基础模型而设计。该方法通过嵌入提示和响应，根据相关性和时新性动态调整校准示例的权重，并实时更新风险级别，从而解决了静态校准的局限性。在合成和公开基准上的评估表明，PromptShift-CRC在静态方法失效的情况下仍能有效控制风险，尤其是在问答和摘要事实性等应用中。
-
新方法使用决策校准预测集优化电力系统
研究人员开发了一种名为决策校准预测集的新方法，用于在不确定性下优化电力系统运行。该方法根据下游决策的可靠性来校准不确定性集，而不是仅仅基于预测覆盖率。通过使用部分输入凸神经网络和受保风险控制启发的参数，该方法有效地控制了不确定性集的体积以满足运行约束。数值实验表明，与标准校准方法相比，该技术能够更准确地满足约束并降低运行成本。
-
Conf-Gen 框架将一致性预测应用于生成式 AI 不确定性
研究人员推出了一种名为 Conf-Gen 的新框架，旨在将一致性风险控制 (CRC) 应用于生成式 AI 模型。该方法解决了传统一致性预测 (CP) 与无监督生成模型（如 LLM 和图像生成器）不兼容的问题。Conf-Gen 放宽了理论假设，以便在这些先进的 AI 系统中实现不确定性量化，并将其应用扩展到新的领域。
-
AI模型CRC-Screen认证DNA合成订单的危害性
研究人员开发了一种名为CRC-Screen的新方法，以提高筛查DNA合成订单潜在危害的准确性。该系统解决了当前方法的一个关键缺陷，即当危险序列属于参考数据库中不存在的分类家族时，筛查就会失败。CRC-Screen结合了多种信号，包括与已知毒素的相似性、基于LLM的评估以及嵌入相似性，以实现认证的漏报率低于指定阈值。