visual question answering
PulseAugur coverage of visual question answering — every cluster mentioning visual question answering across labs, papers, and developer communities, ranked by signal.
- instance of alphaXiv 90%
- instance of Gotit.pub 90%
- used by Vision--Language Models 90%
- used by alphaXiv 70%
- used by CatalyzeX 70%
- used by Gotit.pub 70%
- instance of ScienceCast 70%
- instance of CatalyzeX 70%
- instance of Connected Papers 70%
- instance of Litmaps 70%
- used by ScienceCast 60%
- developed Vision--Language Models 50%
6 天有情绪数据
-
MonitorVLM框架使用视觉语言模型检测矿山安全违规行为
研究人员开发了MonitorVLM,一个新颖的视觉语言框架,旨在利用监控视频检测矿山作业中的安全违规行为。该系统引入了一个包含9000个视觉问答样本的领域特定数据集、一个用于优化相关法规的条款过滤器模块以及一个用于增强工人区域分析的行为放大器。MonitorVLM在精确率、召回率和F1分数方面显著优于基线模型,为自动化职业安全监控提供了实用的解决方案。
-
新框架AmbiSteer帮助视觉语言模型处理歧义
研究人员开发了AmbiSteer,一个旨在帮助视觉语言模型(VLM)更好地处理视觉问答(VQA)中歧义的新框架。目前的VLM即使在视觉证据不足或存在多种可能解释的情况下,也常常给出自信的答案。AmbiSteer旨在使这些模型能够识别歧义,并通过请求澄清或列出可能的答案来响应,而不是默认采用单一解释。当与提示和用于预测输入歧义的线性分类器结合使用时,AmbiSteer在测试的VLM架构中,将歧义输入的适当处理率从平均59.0%提高到77.0%。
-
新的C2-Routing方法将VLM效率提升36%
研究人员开发了一种名为C$^2$-Routing的新方法,以提高视觉语言模型(VLM)在推理过程中的效率。该技术自适应地结合图像裁剪和压缩,以在不显著牺牲准确性的情况下降低计算负载。C$^2$-Routing旨在通过根据图像内容和所提问题智能选择最佳输入缩减策略来优化VQA任务。实验表明,该方法平均可将FLOPs减少36%以上,视觉令牌减少42%以上,同时对任务性能的影响最小。
-
新的SMILE框架使用多智能体推理进行肝脏超声分析
研究人员开发了SMILE,一个旨在改进肝脏超声图像临床报告解释的新框架。与使用单一推理路径的现有模型不同,SMILE采用多智能体方法,其中包含专门负责形态学描述、临床分期和定向视觉问答的智能体。然后,一个裁判智能体整合这些输出来生成统一且临床上连贯的报告。该方法在最先进的视觉语言模型之上显示出显著的改进,尤其是在数据稀缺的临床环境中。
-
新方法通过重新思考视觉标记剪枝和恢复来优化 MLLMs
研究人员开发了一种新的方法来优化多模态大语言模型 (MLLMs),通过重新思考视觉标记剪枝和训练后恢复。他们的方法包括策划一个大型数据集来恢复剪枝后的性能损失,即使在光学字符识别和接地等任务中也显示出显著的收益。研究还发现,对于原生分辨率 MLLMs 的预填充时间,视觉编码器而不是语言模型是主要瓶颈,这表明为了实现加速,标记被移除的位置比移除的总数更关键。
-
Self-RefineVQA 框架在无需额外训练的情况下改进表格 VQA
研究人员推出了一种名为 Self-RefineVQA 的新颖框架,旨在提高视觉语言模型 (VLM) 在回答文档图像中表格数据相关问题的准确性。这种无需训练、在推理时运行的方法利用 VLM 迭代生成、评估和改进自身答案的能力,形成一个自我纠错循环。实验表明,Self-RefineVQA 显著提升了性能,特别是对于较小的模型,使其能够在无需额外标记数据或模型更新的情况下与更大型模型竞争。
-
LLM知识整合深度影响VQA性能
研究人员探讨了如何将大型语言模型(LLM)的知识最佳地整合到视觉问答(VQA)系统中。他们发现在OK-VQA基准测试中,较浅的整合,特别是后期融合,比注意力矩阵注入等更深层次的方法表现更好。浅层方法实现了39.4%的精确匹配得分,显著优于未引导基线和得分31.8%的深层整合方法。这表明LLM知识整合的最佳深度取决于可用数据。
-
新调查勾勒长文档视觉问答图景
一篇新近发表在arXiv上的调查论文,对长文档视觉问答(VQA)进行了以任务为中心的分解。它将该领域分为文档解析、证据组织与检索、生成器组织与学习以及评估。该论文追溯了研究重点的演变,从多模态内容理解转向获取和管理高保真证据的关注,并提出了可验证理解和持续文档理解等领域未来的研究方向。
-
LLaVA-CKD框架通过级联蒸馏提高视觉语言模型效率
研究人员开发了LLaVA-CKD,一种新颖的自底向上级联知识蒸馏框架,旨在提高大型视觉语言模型(VLMs)的效率。该方法通过引入中等容量的Teacher模型来逐步弥合容量差距,解决了大型Teacher模型和小型Student模型之间的知识迁移挑战。LLaVA-CKD应用于基于LLaVA方法学的模型,在标准的视觉问答基准测试中展现出具有竞争力的性能,为实际部署提供了更高效的替代方案。
-
新的VQA方法解决不同的多模态偏差
研究人员开发了一种名为“变分分解方法缓解双模态偏差”(VDB)的新方法,以解决视觉问答(VQA)模型中的偏差问题。该研究区分了计数问题和非计数问题中的偏差,发现计数问题中的数量信息源于多模态特征的幅度。VDB方法通过使用变分自编码器处理语言主导偏差,并使用双模态模型处理语言和视觉结合的偏差,专门针对这些不同的偏差。在VQACPv2、VQACPv1和GQAOOD数据集上的实验表明了该方法的有效性。
-
新的基准和测试方法提高了VQA模型的鲁棒性和医学准确性
研究人员开发了用于视觉问答(VQA)模型的新基准和测试方法。MInfoVisQA是一个多语言基准,用于评估模型在不同语言中保持对信息丰富视觉内容理解的能力,揭示了显著的鲁棒性差距。M3-Test引入了覆盖审计,以识别VQA模型在不同模态同时发生变化时的漏洞,发现许多模型即使通过了单一模态测试后仍会失败。此外,QCAP-VQA提出了一种新颖的医学VQA监督方法,该方法使用问题条件先验质量来确保模型关注相关解剖结构,展示了改进的准确性和与…
-
新研究探讨LLM接口和知识整合在视觉问答中的应用
研究人员正在探索改进大型语言模型(LLM)回答视觉内容问题的能力的新方法。一项研究调查了不同的文本接口设计如何影响多模态推理的提示优化,发现接口设计对于全模态系统中的有效提示优化至关重要。另一篇论文则质疑LLM生成的知识指导是否总是对视觉问答(VQA)有益,并提出在训练数据有限的情况下,更简单的整合方法可能优于复杂的方法。
-
新数据集测试LLM图表分析准确性,发现复杂性是挑战 · 跟踪2个来源
研究人员开发了一个新的数据集和方法论,以评估大型多模态模型(LMM)分析科学图表的能力。该数据集包含合成的多面板图,结果显示随着图表复杂性的增加,LMM的准确性会下降。该研究还考虑了这些模型的成本效益权衡,为用户提供了见解。
-
新的HeiCo-FOCUS数据集挑战视觉语言模型在长上下文视频理解方面的能力
研究人员推出HeiCo-FOCUS,一个旨在评估视觉语言模型(VLMs)长上下文视频理解能力的新数据集。该数据集源自海德堡结直肠手术,侧重于在延长手术过程中跟踪物体,填补了当前基准主要评估短期推理的空白。HeiCo-FOCUS包含30,000个视觉问答对和一个多轨道评估框架,揭示即使是前沿的VLMs在时间定位和长上下文一致性方面也面临挑战。
-
新的蒸馏方法提升循环 Transformer 性能
研究人员开发了一种新的蒸馏方法来提高循环 Transformer 的性能,循环 Transformer 的设计比标准 Transformer 更有效地处理长序列。该技术通过让教师模型直接监督学生循环模型的记忆压缩来训练学生模型,教师模型处理完整的观察历史。该方法在缩小 Mem-RPE 基准和视觉问答等任务的性能差距方面取得了成功,为机器人记忆应用实现了线性时间复杂度。
-
新的 R-GroundBench 基准揭示 AI 在复杂化学编辑方面存在困难
一个名为 R-GroundBench 的新基准已被开发出来,用于评估 AI 理解和编辑具有可变 R-基团占位符的化学结构的能力,这些结构常见于药物专利中。目前的 AI 模型在较简单的任务上表现良好,但在更复杂的场景中却面临显著困难,这表明它们在 Markush 编辑方面的可靠结合和执行能力存在差距。该基准突显了 AI 驱动的化学科学发现所面临的挑战。
-
脑电图信号引导视觉语言模型以实现高效的视觉问答
研究人员开发了BrainFocus,一个新颖的框架,它使用脑电图(EEG)信号来引导视觉语言模型(VLMs)以实现更高效的视觉问答(VQA)。该系统从EEG数据中预测目标类别,并使用YOLO检测器来定位感兴趣的区域(ROI)。如果置信度阈值得到满足,VLM将仅处理此裁剪的ROI,否则将默认处理整个图像。这种方法在Qwen3.5-VL模型的各种VQA准确性和计算成本降低方面显示出显著的改进,即使在EEG语义解码不完美的情况下也是如此。
-
新方法识别视觉问答模型关键图像区域
研究人员开发了一种名为“反事实搜索地面区域”(CSGR)的新方法,用于识别对视觉问答(VQA)模型至关重要的图像区域。该方法通过干预图像区域来观察模型答案如何变化,从而 pinpoint 关键视觉证据。当应用于注意力引导和视觉CoT微调等现有训练技术时,CSGR标注在标准交叉熵微调上的性能持续提升,证明了其在面向地面训练中的实用性。
-
SparseTalk 降低 VQA 的 3D 高斯语言场成本
研究人员开发了 SparseTalk,一种显著降低 3D 视觉问答 (VQA) 中使用的 3D 高斯语言场存储和计算成本的方法。通过系统地稀疏化密集语义特征,SparseTalk 证明了在仅使用几百个语义嵌入的情况下,仍能以原始表示的一小部分维持强大的 VQA 性能。基于对象的选择策略被证明是有效的,在保持性能的同时大幅提高了推理吞吐量并减少了内存使用。
-
新的TTIQ框架增强了视觉语言模型的适应性
研究人员开发了TTIQ,一个新颖的测试时强化学习框架,旨在改进视觉语言模型(VLMs)对未标记数据的适应性。TTIQ通过分析图像-问题对对VLM响应的依赖性来解决当前方法的局限性。它构建了一个有利于联合接地和自信答案的奖励信号,从而在各种VQA数据集和模型尺寸上获得更好的性能。