Large Vision Language Models
PulseAugur coverage of Large Vision Language Models — every cluster mentioning Large Vision Language Models across labs, papers, and developer communities, ranked by signal.
13 天有情绪数据
-
新HCSU数据集挑战LVLM在历史书法分析中的能力
研究人员推出了HCSU，这是一个新的数据集和基准，旨在提高大型视觉语言模型（LVLM）对历史书法风格的理解能力。该数据集通过区分真实的墨迹手稿和石刻拓片，并提供分层的审美描述，解决了现有资源的局限性。使用HCSU进行的评估显示，当前最先进的LVLM在细粒度风格辨别和将审美判断与视觉证据联系起来方面存在困难，突显了多模态架构的基本局限性。
-
新AI助手GaGA利用LVLMs增强图像地理定位
研究人员开发了GaGA，一个交互式全球地理定位助手，它利用大型视觉语言模型（LVLMs）来预测图像的地理位置。GaGA识别图像中的地理线索，并利用LVLMs中嵌入的知识提供带有理由的预测。该系统允许用户干预，提高了其实用性，并基于包含500万图像-文本对的新型多模态全球地理定位（MG-Geo）数据集构建。GaGA在GWS15k数据集上展示了最先进的性能，提高了国家和城市级别的准确性。
-
新数据集和微调方法提升超声分析AI性能
研究人员开发了一种新方法，用于改进大型视觉语言模型（LVLM）在超声图像分析中的应用。他们通过关注数据规模和临床相关性而非复杂架构，创建了一个包含150万次超声检查、1770万张图像和配套临床报告的数据集。在标准LVLM上使用低秩适配（LoRA）对该数据集进行微调，显著提高了其在各种超声理解任务上的性能，优于以往的方法。
-
新方法增强 LVLM 对印刷攻击的鲁棒性
研究人员开发了一种新方法，以提高大型视觉语言模型（LVLM）对抗印刷攻击的鲁棒性，印刷攻击是指图像中的无关文本会误导模型。这种无需训练的方法利用了机械可解释性来识别视觉 Transformer（ViT）中负责编码词汇信息的特定组件。通过在不重新训练的情况下选择性地调整这些已识别电路中的注意力权重，该方法显著增强了在对象分类任务中对抗印刷攻击的鲁棒性，并提高了在 RIO-Bench 等基准测试上的视觉问答任务的准确性。
-
新的StochasT方法增强了多轮场景下的LVLM训练
研究人员推出了一种新颖的大型视觉语言模型（LVLM）训练方法StochasT，该方法解决了多轮对话训练与单轮评估基准之间的差异。StochasT将同一图像的语言任务随机分组为不同大小的簇，增强了模型处理单轮和多轮场景的能力。这种方法旨在减轻训练过程中视觉注意力衰减和上下文过拟合等问题，最终实现更强大、更协调的LVLM能力。
-
新的“神经门”方法通过编辑神经元增强LVLM隐私
研究人员开发了一种名为神经门（Neural Gate）的新方法，以增强大型视觉语言模型（LVLM）的隐私性。该技术使用神经元级别的模型编辑来识别和修改与隐私敏感概念相关的参数，从而提高模型拒绝有害查询的能力。在MiniGPT和LLaVA等模型上的实验表明，神经门在不损害模型在标准任务上的原始性能的情况下，有效地增强了隐私保护。
-
VisReflect 框架改进了 LVLM 在长上下文中的细粒度感知能力
研究人员推出了一种名为 VisReflect 的新框架，旨在提高大型视觉语言模型 (LVLM) 在处理高分辨率图像和长视频时的细粒度感知能力。该方法解决了“视觉注意力沉陷现象”的挑战，即不相关的视觉标记会主导模型的注意力。VisReflect 利用潜在视觉反射，在单次前向传播中引导注意力集中于显著区域或帧，避免了对裁剪视觉区域进行重新编码的计算开销。在 BLINK、HRBench-4K/8K、MVBench、VideoMME 和 ML…
-
新的 GAIA 系统训练批评模型以提高 GUI 代理性能
研究人员开发了 GAIA，一个数据飞轮系统，旨在通过训练直观批评模型 (ICM) 来提高 GUI 代理的性能。该 ICM 评估代理操作的正确性，选择成功概率更高的操作。然后，系统使用此批评模型收集精炼数据，进而训练出更强大的批评模型，形成一个自我改进的循环。实验表明，这种迭代过程提高了各种 GUI 代理的测试时性能。
-
新研究揭示VLM在高分辨率下易受有害ASCII艺术攻击
一篇新研究论文探讨了大型视觉语言模型（VLM）的一个漏洞，即以ASCII艺术形式编码的有害内容可以绕过检测系统。研究发现，提高图像分辨率会显著降低VLM的检测率，特别是对于基于文本的ASCII艺术模式。这项研究突显了当前VLM内容审核的一个关键弱点，并表明需要制定分辨率感知的评估标准。
-
新的HarmVideoBench评估大型语言模型对细微有害视频的理解能力 · 跟踪2个来源
研究人员推出了HarmVideoBench，这是一个旨在评估大型视觉语言模型（LVLMs）有害视频理解能力的新基准。现有的基准通常将有害内容过度简化为二元分类，并且缺乏解释性理由，导致评估结果不透明。HarmVideoBench通过提供一个多层次的诊断方法，包含1,379个视频和4,137个多项选择题，来评估模型在可观察证据、剪辑内部含义和剪辑外推理方面的能力，从而解决了这些局限性。该基准还引入了BCR方法，通过预测推理边界并动态检索…
-
新的CFPO框架增强了LVLM的多模态推理能力
研究人员推出了一种名为逆事实策略优化（CFPO）的新框架，旨在提高大型视觉语言模型（LVLM）的多模态推理能力。CFPO通过强制视觉感知与文本推理之间的因果一致性来解决基础性失败和幻觉漂移问题。该方法与GRPO和DAPO等现有算法集成，无需额外的监督或奖励模型。实验表明，CFPO显著提高了推理保真度，优于标准的RL基线和当前最先进的感知感知方法。
-
新的Med-R2策略提高了AI医学报告生成的准确性
研究人员推出了一种名为Med-R2的新型微调策略，旨在利用大型视觉语言模型（LVLMs）改进自动化医学报告生成（MRG）。该方法通过引入一个关注病理特征感知和诊断推理的中间思考过程，而非直接监督微调，来解决当前方法的局限性。Med-R2还整合了放射学特定知识来指导感知特征的解释，并包含一个反思机制来优化感知和最终报告，从而提高诊断准确性。
-
新研究解决 LVLM 幻觉问题并改进视觉-语言学习
研究人员正在开发新方法来提高大型视觉-语言模型 (LVLM) 的鲁棒性和能力。一种名为 SeeMe 的方法侧重于通过工程化视觉标记来抑制不相关信息同时保留关键证据，从而减轻幻觉。另一个框架 Text as Partial Constraint (TPC) 旨在通过将多视图字幕视为不完整监督并提炼共识语义核心来创建更可靠的表示。此外，还在探索像 HiMe 这样的新架构，用于长视域的视觉-语言-动作控制，将具身智能解耦为分层组件，以实现更…
-
新的强化学习框架通过最小化信息丢失来增强LVLM的图像字幕生成能力
研究人员开发了一个名为跨模态身份映射（CIM）的新型强化学习框架，以改进大型视觉语言模型（LVLM）的图像字幕生成能力。CIM通过测量使用生成字幕通过文本搜索检索到的图像与原始图像之间的相似性来量化信息丢失。该方法旨在最小化信息丢失，而无需额外的标注，从而生成更精确的描述。实验表明，CIM显著提高了图像字幕生成性能，在Qwen2.5-VL-7B模型上，于COCO-LN500基准测试中关系推理能力提升了20%。
-
新的MAD-RAG方法解决了LVLM中的注意力分散问题
研究人员在检索增强型大型视觉语言模型（LVLM）中发现了一种新的故障模式，称为注意力分散（AD）。当高度相关的检索文本全局抑制视觉注意力时，就会发生这种情况，导致模型将注意力从回答它们以前可以处理的问题所必需的图像区域移开。为了解决这个问题，提出了一种名为MAD-RAG的新方法，该方法使用双问题表述和注意力混合来分离视觉基础与上下文集成。在OK-VQA、E-VQA和InfoSeek数据集上的实验表明，MAD-RAG在标准RAG的基础上…
-
新的MODE-RAG系统解决多模态AI生成中的幻觉问题
研究人员推出了一种新颖的多智能体系统MODE-RAG，旨在对抗多模态检索增强生成（M-RAG）系统中的幻觉和虚构。该系统利用变分自由能（VFE）和内部注意力状态来动态管理干预，将高风险查询路由给专门的智能体。这些智能体采用蒙特卡洛树搜索进行因果推导和logit扰动以减少谄媚，并设有专门的纠错和验证智能体。创建了一个名为ModeVent的新数据集来评估该系统，结果显示M-RAG的鲁棒性得到了显著提升。
-
新方法通过证据获取解决视觉语言模型幻觉问题
研究人员开发了一种名为带预算共形证据获取（BCEA）的新方法，以解决大型视觉语言模型（LVLMs）中的幻觉问题。传统的需要弃权预测以维持准确性的方法效率极低，常常弃权超过80%的声明。BCEA提供了一种更细致的方法，允许模型在计算预算内进行回答、弃权或获取额外的视觉证据，从而恢复统计保证并提高覆盖率。
-
新的CORA方法弥合了多模态AI中的思维-答案差距
研究人员推出了一种新方法CORA，用于解决多模态大型视觉语言模型（LVLMs）中存在的思维-答案不一致问题。这种不一致性，即推理过程在语义上与最终答案不匹配，在训练和推理过程中一直存在。CORA利用一致性奖励模型和混合奖励优势分解来提高任务性能并确保更忠实的推理过程。
-
新的CapRL++框架训练出更好的图像和视频字幕模型
研究人员开发了CapRL++，一个使用可验证奖励的强化学习框架，用于训练图像和视频字幕模型。该方法超越了传统的监督微调，它使用一个无视觉语言模型来评估字幕质量，评估依据是该模型回答关于视觉内容问题的能力。在众多基准测试中的评估表明，CapRL++提高了字幕质量和预训练效果，带来了显著的下游性能提升，并使更小的模型能够匹配更大模型的性能。
-
新的Impostor基准数据集挑战AI图像篡改检测
研究人员推出了Impostor，一个旨在提高AI生成图像篡改检测和定位能力的新基准数据集。该数据集包含使用名为CraftAgent的闭环代理框架生成的10万张篡改图像，该框架可自动生成多样化且逼真的编辑。Impostor包含来自七个最新AIGC模型的图像，并具有多个篡改区域，对现有方法提出了重大挑战。研究人员还提出了PhaseAware-Net (PANet)框架，通过结合局部相位建模和语义-取证一致性来提高定位精度。