LVLMs
PulseAugur coverage of LVLMs — every cluster mentioning LVLMs across labs, papers, and developer communities, ranked by signal.
- instance of alphaXiv 90%
- instance of Gotit.pub 90%
- instance of CatalyzeX 90%
- instance of ScienceCast 90%
- instance of Large Vision Language Models 90%
- used by Gotit.pub 70%
- used by alphaXiv 70%
- used by ScienceCast 70%
- used by CatalyzeX 70%
- used by DagsHub 60%
- other CatalyzeX 50%
- competes with CatalyzeX 50%
7 天有情绪数据
-
新的AI越狱方法利用了时间和描述性漏洞
研究人员开发了新的方法来绕过AI模型的安全过滤器，这些方法同时针对大型视觉语言模型（LVLMs）和文本到图像（T2I）模型。一种名为TempJail的技术，通过操纵字幕时间和调度来引发有害响应，从而利用LVLMs的时间漏洞。另一种名为Etch的方法，通过将有害文本嵌入生成的图像中来针对T2I模型，绕过了传统的基于视觉的安全措施。这两种方法在绕过当前AI安全对齐方面都取得了显著的成功率。
-
新的TempJail方法利用视觉语言模型的时间漏洞
研究人员开发了一种名为TempJail的新方法，通过操纵字幕来利用大型视觉语言模型（LVLMs）中的漏洞。该技术侧重于字幕内容的调度时间，表明信息呈现的时间和持续时间对越狱的有效性有显著影响。实验表明，TempJail在GPT-5和Gemini 3.5 Flash等模型上的攻击成功率高于现有方法。
-
新的TTSD-FAR方法通过缺失数据增强LVLM中的情感识别能力
研究人员开发了一种名为TTSD-FAR的新方法，用于提高大型视频语言模型（LVLM）在测试期间某些数据模态缺失时的情感识别能力。该方法结合了测试时自蒸馏（TTSD）和Fisher锚定恢复（FAR）。TTSD使用一个固定的教师模型来指导一个自适应的学生模型，而FAR则监控自适应过程的稳定性，并在检测到分布偏移时将学生模型恢复到教师的锚点。在MELD和DFEW等数据集上的实验表明，TTSD-FAR的性能始终优于现有方法，尤其是在其他技术性…
-
新的 LookBack 方法改进了视觉语言模型的评分
研究人员开发了一种名为 LookBack 的新方法，以更好地评估大型视觉语言模型 (LVLM) 的响应。现有的方法，从标准语言模型改编而来，难以评估 LVLM 的文本输出与提供的图像的匹配程度。LookBack 通过引入一个“视觉回溯得分”来解决这个问题，该得分衡量每个响应 token 与图像 token 的关联强度，在没有显著计算开销的情况下提高了准确性。这种方法在多个基准测试和模型上都显示出了一致的改进。
-
研究发现 LVLM 在图像序列时间推理方面存在困难
一项新的研究论文强调了当前大型视觉语言模型（LVLM）评估图像序列中时间推理能力的一个关键缺陷。研究表明，这些模型表现出显著的偏见，例如首因效应和近因效应，其中图像帧的位置不成比例地影响它们对叙事连贯性而非语义一致性的判断。这表明现有的基于 Transformer 的裁判模型不适合评估视觉叙事的时间流程，因此有必要开发新的评估范式，将序列视为统一的逻辑结构。
-
SafeCap 框架通过字幕介导的强化学习增强 LVLM 的安全性
研究人员开发了 SafeCap，一个旨在增强大型视觉语言模型 (LVLM) 安全性的新型强化学习框架。该方法训练一个策略模型，使其在生成最终答案之前生成与安全相关的图像字幕。字幕生成通过指导冻结的 LLM 做出安全决策的程度进行优化，鼓励模型暴露对安全响应至关重要的视觉线索。在多个安全性和效用基准上的评估表明，SafeCap 在各种模型设置下显著提高了安全性表现，同时保持或增强了视觉效用，其表现优于 SFT、DPO 和 SafeGRP…
-
LVLMs 因位置偏差而在图像序列时间推理方面遇到困难
一篇新论文强调了大型视觉语言模型（LVLMs）在评估图像序列中的时间推理方面存在一个关键缺陷。目前用作裁判的 LVLMs 表现出显著的偏差，倾向于帧的位置（优先效应和近因效应）而非其语义一致性。这种结构性限制，可能源于 transformer 架构，意味着这些模型难以区分连贯的叙事与混乱或矛盾的叙事。该研究呼吁开发将视觉序列视为统一逻辑结构的、具有时间意识的评估范式。
-
SafeCap 框架使用图像字幕强化学习增强 LVLM 的安全性
研究人员开发了 SafeCap，这是一个新颖的强化学习框架，旨在增强大型视觉语言模型 (LVLM) 的安全性。SafeCap 利用一种学习到的自字幕机制，模型首先为图像生成一个与安全相关的字幕，然后该字幕会指导生成最终的、对齐的响应。这种方法在安全基准测试中显示出显著的改进，在保持视觉效用的同时，其表现优于监督微调和直接偏好优化等现有方法，甚至有所提高。
-
新研究评估金融领域视觉语言模型的置信度
一篇新的arXiv论文探讨了用于图表和文档理解的金融视觉语言模型（LVLMs）的置信度估计。研究强调，尽管许多模型可以将正确答案的排名置于错误答案之上，但它们通常存在严重的过度自信问题，导致其得分在决策中不可靠。研究发现，只有经过训练的内部探针，而非仅推理的基线，才能产生可阈值的得分，并且这些探针的有效性因具体模型和任务而异。研究结果表明，可实现的自动化程度主要取决于模型的内在能力，而置信度得分仅能缩小可安全自动化的范围。
-
新研究显示，LVLM 在处理视觉错觉方面存在困难
研究人员正在调查大型视觉语言模型（LVLM）在理解视觉错觉方面的局限性。一项研究提出将视觉错觉用作诊断工具，以评估 LVLM 的联合感知和推理能力，发现当前模型的表现不如宣传的那样先进。另一篇论文介绍了一个名为 IlluChar 的新数据集和一种名为 SMSP 的策略，以解决 LVLM 在处理错觉时观察到的高频注意力偏差，并在 Qwen3-VL-8B-Instruct 等模型中展示了显著的性能提升。
-
新方法应对多模态虚假信息检测 · 跟踪到2个来源
研究人员开发了检测多模态虚假信息的新方法，以应对人类制造和AI生成的欺骗性内容的挑战。一种方法是验证笔记本学习（VNL），它使用非参数框架，通过从过去的验证中创建决策原则和证据线索的“笔记本”来指导大型视觉语言模型（LVLMs）。该方法旨在在不重新训练模型的情况下提高来源归属和知识积累。另一项开发是OmniFake基准数据集和统一多模态虚假内容检测（UMFDet）框架，该框架旨在通过采用具有类别感知专家混合适配器的VLM骨干来处理单一…
-
新研究着眼于法律、多模态和通用文本生成中的大型语言模型幻觉问题
多篇在arXiv上发表的研究论文探讨了检测和减轻大型语言模型（LLM）幻觉的方法。一项研究对法律幻觉检测进行了基准测试，发现虽然GPT-5等较新模型有所改进，但它们在细微的错误类别上仍有困难，并且需要资源密集型的验证。另一篇论文介绍了HallDetect，一个用于各种生成任务的无参考幻觉检测框架。其他研究侧重于引发内在幻觉的对抗性攻击、神经多样性在减少幻觉中的作用，以及大型视觉语言模型中的特定模式。此外，还提出了一个新的基准KnowH…
-
新的医疗人工智能模型合并基准和方法
研究人员推出了 MergeMedBench，这是一个旨在评估医疗领域大视觉语言模型（LVLMs）模型合并技术的新基准。该研究探讨了将多个专门的医疗 LVLMs 合并成一个单一模型以降低计算开销。提出了一种名为“赢家通吃”的新方法，该方法选择性地保留专家模型中的主导参数，其性能优于现有的合并方法。
-
新框架和基准推动多模态大语言模型视觉推理能力发展
研究人员正在开发新方法来增强多模态大语言模型（MLLM）的视觉推理能力。一种名为 Beacon 的方法侧重于通过智能地仅在必要时调用工具并确保工具真正扩展模型能力来改进“模式适应性”和“工具效应”。另一个框架 LanteRn 使 MLLM 能够通过将语言与紧凑的视觉表示交织在一起，直接在潜在空间中执行视觉推理。此外，正在引入 ViSTR-Bench 和 ConVBench 等新基准，以更好地评估 MLLM 在复杂时空推理和逻辑一致性方…
-
AutoV框架通过视觉提示检索增强LVLM性能
研究人员开发了AutoV，一个旨在通过智能检索最佳视觉提示来提高大型视觉语言模型（LVLM）性能的新框架。该方法通过根据输入图像和文本查询自动从池中选择最合适的视觉提示，解决了传统提示工程的局限性。AutoV利用面向损失的排序系统进行监督，使其能够在没有手动标注的情况下学习有效的提示检索。实验表明，AutoV在图像理解和分类等各种任务中显著提高了LVLM的性能，在LLaVA-OV和Qwen2.5-VL等模型上取得了显著改进。
-
新的DeepBias框架自适应探测视觉语言模型中的社会偏见
研究人员开发了DeepBias，一个旨在探测大型视觉语言模型（LVLMs）中社会偏见的自适应框架。与静态数据集不同，DeepBias使用一个涉及ProposerAgent的动态循环来根据LVLM的响应生成和改进测试数据，以及一个DiggerAgent来迭代重写测试以更深入地暴露偏见。这种方法旨在提供对LVLM漏洞的更彻底评估，并已被用于创建DeepBiasBench基准，该基准捕获了多个最先进LVLM之间的共同弱点。
-
新的 DeepBias 框架自适应探测 LVLM 中的社会偏见
研究人员开发了 DeepBias，一个旨在彻底探测大型视觉语言模型 (LVLM) 中社会偏见的自适应框架。与静态评估方法不同，DeepBias 采用了一个动态循环，包括一个使用直接偏好优化合成和优化测试数据的 ProposerAgent，以及一个自适应加深测试用例的 DiggerAgent。该框架已被用于创建 DeepBiasBench，一个评估多个 LVLM 共享漏洞的基准，为 LVLM 安全评估建立了一种新的进化方法。
-
新的OmniMapBench基准测试通过以视觉为中心的地图推理挑战LVLMs
研究人员推出OmniMapBench，这是一个旨在评估大型视觉语言模型（LVLMs）以视觉为中心的推理能力的新基准测试。该基准测试解决了现有数据集中视觉信息常常可以被简化为文本，从而未能真正测试视觉基础性这一局限性。OmniMapBench包含1603份地图文档中的2096个问答对，并引入了视觉依赖指数（VDI）来量化视觉推理的不可约性。对25个领先LVLMs的初步评估显示出显著的性能差距，表现最好的模型准确率仅为75.03%，凸显了…
-
新的“神经门”方法通过编辑神经元增强LVLM隐私
研究人员开发了一种名为神经门（Neural Gate）的新方法，以增强大型视觉语言模型（LVLM）的隐私性。该技术使用神经元级别的模型编辑来识别和修改与隐私敏感概念相关的参数，从而提高模型拒绝有害查询的能力。在MiniGPT和LLaVA等模型上的实验表明，神经门在不损害模型在标准任务上的原始性能的情况下，有效地增强了隐私保护。
-
新研究通过先进的检测方法解决 LLM 和 VLM 幻觉问题
研究人员正在开发新的方法来对抗大型语言模型 (LLM) 和视觉语言模型 (VLM) 中的幻觉。一种名为“不确定时验证”的方法，通过跨模型一致性检查来提高幻觉检测的准确性，同时降低计算成本。另一种方法 CORTEX，通过比较检索文档的有无对内部模型表示的差异，专注于检索增强生成 (RAG) 中的 token 级检测。对于 VLM，ViPSy 和 Context-aware Attention Intervention (CAI) 等技术…