Mondrian calibration
PulseAugur coverage of Mondrian calibration — every cluster mentioning Mondrian calibration across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新基准 SimplexUQ 评估单纯形值预测上的共形不确定性
研究人员推出了 SimplexUQ，这是一个新颖的框架和基准，旨在评估共形预测方法在处理单纯形值预测（如概率分布）中的不确定性方面表现如何。该基准包含 12 个任务，涵盖合成和真实世界场景，如类别概率和主题混合，旨在衡量即使满足边际覆盖率保证时也可能出现的覆盖率不均匀分布。初步比较显示，虽然全局校准可能看起来有效，但特定层可能严重覆盖不足，并且像 Mondrian 校准和 BatchMVP 这样的不同包装器在减少差异和计算成本方面提供…
-
研究质疑分布偏移下零样本视觉语言模型的保形预测安全性
一篇新发表在arXiv上的研究论文质疑了在数据分布偏移条件下部署的零样本视觉语言模型（VLMs）的保形预测（split-conformal prediction）作为安全措施的可靠性。研究发现，虽然边际覆盖率（marginal coverage）可能保持较高水平，但类别条件尾部覆盖率（class-conditional tail coverage）可能显著下降，某些类别的覆盖率接近于零。研究测试了各种校准技术，其中目标端类别校准（ta…
-
研究发现，分裂保角预测在分布偏移下对视觉语言模型未能实现类别条件安全
一篇新论文研究了分裂保角预测作为零样本视觉语言模型（VLMs）在数据分布偏移条件下的安全层有效性。研究发现，尽管边际覆盖率可以保持较高水平，但类别条件覆盖率会显著下降，某些类别的覆盖率甚至在整体覆盖率约为86%时接近于零。测试了各种校准技术，其中目标侧类别校准显示出最大潜力，但需要大量的标记数据。研究得出结论，边际保角覆盖率应被视为平均可靠性指标，而不是特定类别的确定性安全保证。