研究人员推出了METATR（v1.0），一个旨在评估自动文本识别（ATR）系统，特别是视觉-大语言模型（vLLMs）的新型多语言基准。与专注于现代印刷英语文本的现有基准不同，METATR纳入了29种语言的各种文档，包含多种字体和版式。该基准包括一个标准化的提示和规范化方法，以及一个动态评估框架，以确保可重复性和可扩展性。初步评估显示，虽然专有模型通常表现更一致，但在不同字体和版式之间存在显著的性能差异。 AI
影响 为多语言ATR系统提供了一个更全面的评估框架，解决了当前基准的局限性。
排序理由 该集群描述了一个用于评估AI系统的新学术基准的发布。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2605.26712v1 Announce Type: new Abstract: Benchmarks that reflect the diversity and complexity of real-world documents are essential for accurately evaluating Automatic Text Recognition (ATR) systems, especially Vision-Large Language Models (vLLMs). Although recent models d…
Benchmarks that reflect the diversity and complexity of real-world documents are essential for accurately evaluating Automatic Text Recognition (ATR) systems, especially Vision-Large Language Models (vLLMs). Although recent models demonstrate impressive performance, they are ofte…