研究人员推出了 SimplexUQ，这是一个新颖的框架和基准，旨在评估共形预测方法在处理单纯形值预测（如概率分布）中的不确定性方面表现如何。该基准包含 12 个任务，涵盖合成和真实世界场景，如类别概率和主题混合，旨在衡量即使满足边际覆盖率保证时也可能出现的覆盖率不均匀分布。初步比较显示，虽然全局校准可能看起来有效，但特定层可能严重覆盖不足，并且像 Mondrian 校准和 BatchMVP 这样的不同包装器在减少差异和计算成本方面提供了权衡，但没有单一的占优解决方案。 AI
影响 为评估输出概率分布的模型的“不确定性量化”提供了一个新标准，这对于可靠的 AI 决策至关重要。
排序理由 该项目是一篇介绍共形不确定性新基准和评估框架的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
