研究人员开发了ParseBench-2,一个用于评估文档解析系统的新基准。该基准包含严重性策略,以确保指标准确反映错误的影响,对改变重要事实的更改比保留意义的更改进行更严厉的惩罚。ParseBench-2涵盖了六个质量维度的4,317页,并使用详细的注释和有针对性的困难案例来评估事实更改、结构关系中断和内容缺失。使用此基准进行的评估比较了前沿的视觉语言模型、专用文档解析器和开放权重系统。 AI
影响 该基准旨在改进文档解析模型的评估,可能导致更可靠的用于处理复杂文档的AI系统。
排序理由 该集群描述了一篇介绍用于评估AI系统的新颖基准的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- Connected Papers
- DagsHub
- Gotit.pub
- Hugging Face
- Litmaps
- ParseBench-2
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →