TABVERSE

新的基准测试TABVERSE测试LLM的跨格式表格理解能力

研究人员推出TABVERSE，一个旨在评估大型语言模型（LLM）和视觉语言模型（VLM）在不同格式表格理解能力的新基准测试。该基准测试在保持表格内容标准化的同时，改变其表示形式，例如HTML、Markdown、LaTeX和渲染图像。初步研究结果表明，模型的性能受到表格格式的显著影响，结构化文本通常优于图像，但特定的任务和格式会带来独特的挑战。