Théo Lasnier

新基准揭示视觉语言模型在处理金融图表和对话时遇到困难

引入了一个新的基准Scribe Finance，用于评估多模态模型理解复杂法国金融文件的能力。该基准包含文本提取、表格理解和图表解读方面的问题，结果显示，尽管当前的视觉语言模型（VLMs）在文本和表格任务上表现良好，但在图表分析方面却面临显著困难。此外，研究强调了一种关键的失败模式，即多轮对话中的初始错误会不断累积，导致准确性大幅下降，而与模型大小无关。