DocVQA
PulseAugur coverage of DocVQA — every cluster mentioning DocVQA across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
多模态GraphRAG：文本和表格价值最高，协同效应罕见
一篇新发表在arXiv上的研究论文，调查了多模态知识图谱在GraphRAG系统中，特别是在文档视觉问答（DocVQA）方面的有效性。研究发现，尽管多模态图谱整合了来自文本、图表和表格等多种来源的信息，但在推理时简单地检索所有可用证据并不总能提高性能。研究强调，表格和文本的贡献最大，并且模态的组合通常会导致冗余而非协同效应，尤其是在涉及文本时。模态之间的积极协作主要观察到在非文本来源之间，并且取决于问题的意图和任务类型，这表明在Grap…
-
SkillAA框架通过归因引导的更新增强了LLM的外部技能集成
一个名为SkillAA的新框架已被开发出来，以改进大型语言模型与外部技能的交互方式。该系统使用技能图来指导这些技能的选择、修复和验证，通过对比成功和失败的执行来 pinpoint 改进的具体领域。SkillAA在与GPT 5.6 "Sol"集成后，在SearchQA、LiveMath和DocVQA等基准测试中表现强劲，取得了高分，并在各种设置中超越了其他方法。
-
新系统通过视觉检索和证据链构建增强文档问答能力
研究人员开发了一种新颖的长上下文文档问答系统，特别适用于包含图表和信息图等视觉元素的文档。该系统名为VisRAG-Ret，利用冻结的Qwen2.5-VL-7B-Instruct模型，并包含三个新模块：一个能力感知视觉路由器（CAVR）用于分类页面类型，一个弱到强页面选择（WSPS）机制用于提炼答案可得性，以及一个视觉证据链（VET）用于为生成器创建布局锚定的路径。这种方法显著提高了在DocVQA、ChartQA和MMLongBench…
-
新方法通过自适应检索和智能恢复增强视觉文档问答
研究人员开发了新的方法来改进视觉文档问答（DocVQA）和基于知识的视觉问答（KB-VQA）。ViSAR 引入了一种自适应检索技术，可以动态选择要检索的文档页数，将延迟最多降低 58.7%，同时保持准确性。DocIntent 专注于降级文档的智能恢复，评估问题的可回答性并选择性地应用恢复工具以提高 MLLM 的性能。另一种方法将 KB-VQA 重构为搜索-智能体问题，允许智能体决定何时搜索、优化查询或停止，从而在 InfoSeek 和…
-
新的审计方法评估MLLM中的视觉令牌溯源
一篇新的研究论文介绍了一种审计多模态大型语言模型（MLLM）中视觉令牌空间溯源的方法。该方法超越了传统的准确性指标，以评估模型正确答案是否可以追溯到支持它的特定视觉区域。研究表明，虽然准确性可能保持稳定，但不同的剪枝策略会导致可追溯性水平的巨大差异，从而影响模型的可靠性。提出的审计方法还显示出在批处理预填充速度和减少内存使用方面有潜在的收益，尽管有利的验证点不能保证任务通用压缩。
-
DeCoRAG 管道增强了用于复杂文档的多模态 RAG
研究人员推出了一种新颖的多模态图 RAG 管道 DeCoRAG，旨在改进复杂文档的理解。这种新方法解决了“视觉注意力陷阱”问题，即视觉语言模型在处理密集布局时遇到困难，导致语义丢失和高计算成本。DeCoRAG 采用“认知解耦”和“语义锚点”来解决此问题，并指导“区域感知剪枝和裁剪”（RAP-Crop）机制。该方法优化了推理空间，使其专注于相关的语义簇，从而显著提高了准确性并减少了 token 使用量。
-
新框架Seer通过MLP稀疏性将DMLLM加速高达31倍
研究人员开发了一个名为Seer的新框架，可显著加速扩散模型多模态大语言模型（DMLLMs）的推理速度。通过分析第一个去噪步骤中的MLP激活稀疏性，Seer可以检测到输出序列的有效语义边界。这使得一次性截断冗余填充成为可能，减少了不必要的计算，并将吞吐量提高了高达31倍。该框架保持了整体性能，甚至在某些视觉任务上提高了准确性。
-
新基准 SynthDocBench 揭示视觉语言模型 (VLM) 在长上下文文档理解方面的不足
研究人员推出了一种新颖的合成基准测试 SynthDocBench，旨在评估视觉语言模型 (VLM) 的长上下文视觉文档理解能力。与现有基准测试不同，SynthDocBench 系统地控制了文档长度、布局复杂性和问题类型等因素，以隔离模型故障模式。对七个前沿 VLM 的评估揭示了显著问题，包括随着文档长度增加而导致的性能下降、文档中间部分尤其具有挑战性的位置偏差，以及长文档中图表理解能力的崩溃，这表明当前模型可能过度拟合了基准测试的伪影。
-
研究发现视觉语言模型在处理复杂文档布局时遇到困难
一项新研究评估了八个开源视觉语言模型（VLMs）在三种不同文档类型上的文档视觉问答（DocVQA）能力：工业文档、信息图和幻灯片。研究发现，虽然大型VLMs在零样本设置下结构化布局表现良好，但在信息图和幻灯片等视觉复杂度更高的文档上，其性能会显著下降。研究还强调，监督微调可以带来显著的性能提升，特别是对于较小的模型架构，并且视觉理解而非知识缺乏是DocVQA的主要限制。
-
研究发现视觉理解限制了VLM在复杂文档上的性能
一项新研究在工业文档、信息图表和演示文稿等文档上，对八个开源视觉语言模型（VLM）在文档视觉问答（DocVQA）任务上的表现进行了评估。研究发现，虽然VLM在结构化布局上表现良好，但在视觉上复杂的图表和幻灯片上的效果会减弱。研究还表明，视觉理解能力，而非知识缺乏，是DocVQA性能的主要限制因素。使用少量领域特定样本进行微调可以显著提高模型的适应性。
-
新的“伪造答案”攻击目标是无OCR的DocVQA模型
研究人员开发了一种名为“伪造答案”的新型对抗性攻击方法，该方法可以伪造文档内容来操纵无OCR的文档视觉问答（DocVQA）模型。通过创建视觉上不易察觉但语义上具有针对性的伪造文档，该攻击可以诱导特定的错误答案或导致系统性模型故障。该攻击的有效性已在Pix2Struct和Donut等最先进模型上得到验证，凸显了当前DocVQA系统存在的重大漏洞以及改进防御措施的必要性。
-
SoftSkill 方法将 LLM 技能压缩为紧凑的潜在控制
研究人员开发了 SoftSkill，一种通过将技能压缩为紧凑、连续的上下文对象来使大型语言模型适应特定任务的新方法。该方法使用可训练的“软 delta”来精炼冻结的主干模型，其性能显著优于传统的基于 Markdown 的技能文件。SoftSkill 在 SearchQA、LiveMath 和 DocVQA 等基准测试中显示出显著的准确性提高，同时大大减少了技能编码所需的 token 数量。
-
新的VQA方法增强了多模态大语言模型的解释性和知识整合能力
研究人员开发了CoExVQA，一个用于文档视觉问答（DocVQA）的新框架，通过分解推理过程来增强可解释性。该方法首先识别相关证据，然后定位答案区域，最后仅从该基础区域解码答案，从而实现透明验证。同时，另一项研究引入了CoVQD引导的RAG（CgRAG）框架，该框架将多模态大语言模型（MLLMs）与结构化推理和检索增强生成相结合，以提高复杂视觉问答任务的性能。