ConfBench

新的 ConfBench 基准评估 VLM 在文档提取中的置信度

一个名为 ConfBench 的新基准已被开发出来，用于评估视觉语言模型（VLM）在文档提取任务中置信度得分的可靠性。该基准包含降级的文档样本，揭示了虽然模型能力是置信度准确性的关键因素，但特定的 VLM 系列和模态（OCR+图像）也起着重要作用。事后校正方法可以改善用于路由提取的校准，并且具有一阶聚合的对数概率似乎是最有效的置信度估计方法。