一个名为 ConfBench 的新基准已被开发出来，用于评估视觉语言模型（VLM）在文档提取任务中置信度得分的可靠性。该基准包含降级的文档样本，揭示了虽然模型能力是置信度准确性的关键因素，但特定的 VLM 系列和模态（OCR+图像）也起着重要作用。事后校正方法可以改善用于路由提取的校准，并且具有一阶聚合的对数概率似乎是最有效的置信度估计方法。 AI
影响 该基准将通过改进视觉语言模型的置信度估计，帮助开发人员构建更可靠的文档处理人工智能系统。
排序理由 该集群包含一篇介绍新人工智能模型评估基准的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
