ChartQA
PulseAugur coverage of ChartQA — every cluster mentioning ChartQA across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
ReCast框架保护多模态推理中的敏感数据
研究人员开发了ReCast，一个旨在保护多模态推理任务中敏感信息的新型框架。该插件系统将输入转换为共享文本记录，使用一个精炼的4B模型进行内容重写，并采用一个本地可逆的数值映射进行值替换。ReCast旨在保留远程推理的好处，同时显著减少源内容的暴露，在ChartQA和NMSQA数据集上实现了75.10%的准确率。
-
新系统通过视觉检索和证据链构建增强文档问答能力
研究人员开发了一种新颖的长上下文文档问答系统，特别适用于包含图表和信息图等视觉元素的文档。该系统名为VisRAG-Ret，利用冻结的Qwen2.5-VL-7B-Instruct模型，并包含三个新模块：一个能力感知视觉路由器（CAVR）用于分类页面类型，一个弱到强页面选择（WSPS）机制用于提炼答案可得性，以及一个视觉证据链（VET）用于为生成器创建布局锚定的路径。这种方法显著提高了在DocVQA、ChartQA和MMLongBench…
-
新的STEER方法增强了AI对科学图表的理解能力
研究人员开发了一种名为STEER（Structure-Token Evidence-anchored Reasoning，结构-Token证据锚定推理）的新方法，以提高大型视觉语言模型理解科学图表的能力。当前模型通常将图表视为普通图像，无法准确解释坐标轴、图例和标记中的定量数据。STEER通过冻结视觉编码器并添加编码图表结构、将推理步骤锚定到特定图节点以及使用专门的表格提取器进行指导的模块来解决此问题。该方法在ChartQA、Char…
-
新框架ChartProbe通过训练更简单的技能来提升VLM的视觉推理能力
研究人员开发了ChartProbe，一个旨在提高视觉语言模型（VLM）视觉推理能力的诊断框架。该框架将感知和关联等更简单的技能分离出来进行训练，而不是仅仅关注复杂的推理监督。通过在这些基础技能上微调VLM，研究发现即使没有直接针对复杂图表问题进行训练，它们回答这些问题的能力也得到了显著提高。在各种图表类型甚至非图表视觉领域中都观察到了这些进步，这表明基础技能的发展是增强复杂视觉推理的关键。
-
新基准 SynthDocBench 揭示视觉语言模型 (VLM) 在长上下文文档理解方面的不足
研究人员推出了一种新颖的合成基准测试 SynthDocBench，旨在评估视觉语言模型 (VLM) 的长上下文视觉文档理解能力。与现有基准测试不同，SynthDocBench 系统地控制了文档长度、布局复杂性和问题类型等因素，以隔离模型故障模式。对七个前沿 VLM 的评估揭示了显著问题，包括随着文档长度增加而导致的性能下降、文档中间部分尤其具有挑战性的位置偏差，以及长文档中图表理解能力的崩溃，这表明当前模型可能过度拟合了基准测试的伪影。
-
新系统为图表问题路由以节省VLM成本
研究人员开发了SAFE-Cascade系统，该系统通过在仅文本语言模型和更强大的视觉语言模型（VLM）之间自适应地路由查询来优化图表问答。这种方法旨在通过仅在必要时调用VLM来降低成本和延迟，具体取决于评估问题和图表复杂性的学习路由器。该系统在准确性方面与完整的VLM基线相当，同时显著减少了VLM的使用和估计成本。
-
新的VLM自集成方法提高了图表数据提取的准确性
研究人员开发了一种用于视觉语言模型（VLM）的自集成方法，以提高从图表图像中提取数据的准确性。该技术涉及为给定的图表从同一VLM生成多个表格输出，然后在单元格级别聚合这些输出，以产生更准确的共识表。该方法还结合了收敛检测和不确定性估计，以提高提取数据的可靠性和用户评估。
-
新基准评估视觉语言模型从流行病曲线中提取数据的能力
研究人员推出了 EpiCurveBench，这是一个旨在评估视觉语言模型（VLMs）在从流行病曲线图表中提取数据任务方面的能力的新基准。该基准包含 1,000 张真实世界的流行病曲线图像和一个名为 EpiCurveSimilarity (ECS) 的新评估指标。ECS 通过动态规划对预测序列和真实序列进行对齐，旨在比现有的键值提取指标更好地捕捉时间序列数据的时序结构。初步评估显示，即使是最强的 VLM，ECS 也仅达到 52.3%，凸…
-
感知流网络和VGR增强LLM的视觉推理能力
研究人员开发了感知流网络（PFlowNet）以提高大型视觉语言模型（LVLMs）的视觉推理能力。PFlowNet将感知与推理分离，并使用变分强化学习来指导感知行为，旨在减少语言偏见和幻觉。该方法在V* Bench和MME-RealWorld-lite等基准测试中取得了最先进的成果。另一个相关模型VGR通过将语言推断基础化到检测到的图像区域中来增强多模态推理能力，在ChartQA等基准测试中显示出显著的改进，同时使用的图像令牌更少。
-
新基准DRAGON和OmniSch测试LMM的图表推理能力
研究人员推出了DRAGON，这是一个旨在评估视觉语言模型（VLM）在多大程度上能够将其推理与图表中的特定视觉证据联系起来的新基准。该基准解决了模型可能通过虚假关联而非真正理解视觉信息而获得正确答案的局限性。DRAGON包含来自六个现有图表问答数据集的超过11,000个带注释的问题实例，其中测试集包含经过人类验证的推理证据注释。评估了八个VLM在各种图表类型中定位这些证据的能力，旨在提高基于图表的推理的可解释性和可靠性。