Large Vision Language Models
PulseAugur coverage of Large Vision Language Models — every cluster mentioning Large Vision Language Models across labs, papers, and developer communities, ranked by signal.
9 天有情绪数据
-
新的MedFocus方法增强了AI在胸部X光片分析中的可信度
研究人员开发了一个新的框架来评估大型视觉语言模型(LVLMs)在医疗应用中,特别是胸部X光片(CXR)推理方面的可信度。现有的归因方法通常无法准确识别LVLMs用于其预测的视觉证据。为了解决这个问题,该研究提出了MedFocus,一种新颖的基于概念的归因方法,它改进了临床上有意义的解剖区域的定位和因果效应测量,从而为医疗LVLMs提供更可靠的解释。
-
新的BOS摘要方法增强了LLM和LVLM的上下文处理能力
研究人员开发了一种名为BOS摘要的新方法,该方法增强了大型视觉语言模型(LVLM)和语言模型(LLM)的性能。这种无需训练的技术在推理过程中修改序列开头(BOS)Token的注意力机制,以携带更多输入上下文。通过放宽BOS查询的因果约束,它允许该Token聚合所有输入Token的信息,然后在整个解码过程中保持可访问性。实验表明,BOS摘要提高了多步推理任务的性能,并优于现有方法。
-
新基准揭示LVLMs在个性化隐私方面存在不足
研究人员开发了SPY-Bench,一个旨在评估大型视觉语言模型(LVLMs)在推理时保护个性化隐私能力的新基准。该基准包含超过32,700个跨越各种场景的样本,揭示即使是像o4-mini这样的顶级模型在合规性方面也存在困难,准确率仅约为24%。为解决这些局限性,团队实施了对齐方法,包括一种新颖的噪声对比对齐变体,成功达到了96.88%的准确率,同时保持了通用性能,标志着朝着更可控的LVLMs迈出了重要一步。
-
新的CASCADE框架通过视觉脚手架改进逻辑异常检测
研究人员推出CASCADE,一个旨在通过解决当前大型视觉语言模型(LVLM)的局限性来增强逻辑异常检测(LAD)的新型框架。现有方法常常面临“特定约束感知差距”的问题,即模型从单个图像中提取视觉证据用于多个文本检查,导致实例混淆和尺度漂移等错误。CASCADE旨在通过使用特定约束的视觉脚手架来提高准确性,其高级版本CASCADE++通过在对象级别调整这些脚手架进一步完善了这一点。该方法在MVTec-LOCO和VID-AD等基准测试中表…
-
新基准揭示大型视觉语言模型个性化隐私保护能力不足
研究人员推出了一项新基准 SPY-Bench,用于评估大型视觉语言模型(LVLM)的个性化隐私保护能力。该基准包含超过 32,700 个图像-问题对,涵盖各种类别和场景的个性化隐私指令。目前 LVLM 在此方面的表现不佳,顶级模型的合规性准确率仅约为 24%,表明其对上下文隐私的理解有限。为解决此问题,研究人员开发了对齐方法,包括一种噪声对比对齐变体,该方法达到了 96.88% 的准确率,同时保持了通用性能,标志着朝着更可控、更合乎道…
-
CASCADE++ 框架通过视觉支架增强图像异常检测
研究人员开发了 CASCADE,一个旨在改进图像中逻辑异常检测 (LAD) 的新颖框架。使用大型视觉语言模型 (LVLMs) 的传统 LAD 方法经常会遇到“文本-图像不匹配”问题,即模型必须从单个图像中提取各种视觉证据以进行不同的文本检查。这可能导致实例混淆和尺度漂移等错误。CASCADE 通过生成约束特定的视觉支架来解决此问题,有效地使视觉输入适应每个验证步骤。增强版 CASCADE++ 在对象级别进一步完善了这些支架,在 MVT…
-
大型视觉语言模型在内部信号存在的情况下仍难以处理图关系
研究人员发现,在处理图表时,大型视觉语言模型(LVLMs)的内部表示与其预测能力之间存在脱节。尽管 LVLMs 在图表理解基准测试中表现出熟练度,但它们常常无法掌握关系,特别是涉及定向边的关系。通过对合成图表和流程图的实验,研究发现与节点和边相关的信号可以从模型的隐藏状态中解码,并且在某些情况下,这些信号会因果性地影响模型的预测。这表明模型内部处理的信息与其生成的输出之间存在差距。
-
GraphGeo框架为多智能体视觉地理定位中的辩论提供形式化方法
研究人员开发了GraphGeo,一个利用异构图神经网络增强视觉地理定位的新型多智能体辩论框架。该系统通过类型化边建模不同的智能体交互,区分协作、论证和知识转移。GraphGeo采用双层辩论机制进行节点细化和边论证,允许图结构和智能体表示的共同演化。实验表明,GraphGeo通过将认知冲突转化为改进的地理定位精度,超越了现有的单模型和多智能体方法。
-
新方法剪枝 LVLM 中的视觉令牌以提高效率
研究人员开发了新的方法来剪枝大型视觉语言模型(LVLM)中的视觉令牌,在不显著损失性能的情况下显著降低了计算成本。第一种方法 BtsPruner 在视觉编码过程中识别令牌角色,并有选择地保留互补的局部和全局信息。第二种方法 RI-Prune 专门针对多图像 LVLM,通过使用关系和信息感知,超越了在多图像场景中被证明无效的基于注意力的显著性。这两种技术都展示了在各种 LVLM 架构中提高效率和保留性能。
-
新型跨模态提示注入攻击目标锁定大型视觉语言模型
研究人员开发了一种名为CrossMPI的新型跨模态提示注入攻击,该攻击仅通过图像扰动即可操纵大型视觉语言模型(LVLMs)对文本和图像输入的解释。该攻击在模型隐藏状态空间内优化扰动,该空间比典型的视觉嵌入空间具有更多的参数。CrossMPI采用层选择等策略来识别多模态集成中的关键层,并采用距离递减预算分配的图像扰动来提高其有效性。
-
新基准显示视觉语言模型在物理感知光子设计方面存在困难
研究人员开发了PCFBench,这是一个旨在评估大视觉语言模型(VLMs)在物理感知光子逆设计领域能力的新基准。该基准包含六个类别共26个任务,使用了来自18个不同光纤家族的超过22万个模拟样本。初步评估表明,VLMs感知光纤几何形状的能力与其执行物理感知设计操作的能力之间存在显著差距,这凸显了在这些模型中明确物理基础的必要性。
-
新方法利用证据不确定性检测LVLM误行为
研究人员开发了一种名为证据不确定性量化(EUQ)的新方法来检测大型视觉语言模型(LVLM)中的误行为。该技术通过将特征解释为支持或反对的证据,来量化单个模型传递过程中的内部冲突和知识差距。EUQ在识别最先进LVLM中的幻觉、越狱、对抗性漏洞和分布外故障方面,表现优于现有方法。
-
新基准旨在提升AI对科学图表和历史文献的理解能力
研究人员推出了两个旨在提高AI模型理解能力的新基准。SciFigBench专注于使视觉语言模型能够解读复杂的科学方法图,解决了密集内容感知和信息流的局限性。LongHisDoc则面向大型语言和视觉语言模型,用于理解中文历史长文档,揭示了当前模型在需要多模态证据整合的任务中存在显著的性能差距。
-
新框架 GeoCloak 增强图像地理定位隐私
研究人员开发了 GeoCloak,一个新颖的代理框架,旨在保护图像中的地理定位隐私。该系统解决了大型视觉语言模型(LVLM)从照片推断位置的风险。GeoCloak 通过识别和抑制决定位置的关键线索(尤其是在图像视觉外围的线索)来工作,同时保持图像的整体语义和效用。评估表明,GeoCloak 在各种数据集和多个 LVLM 上显著降低了地理定位推断的准确性,优于现有方法。
-
TraceICL框架提升LVLM的多模态上下文学习能力
研究人员开发了TraceICL,一个旨在增强大型视觉语言模型(LVLM)多模态上下文学习鲁棒性的新框架。该框架包含三个阶段:线程解析分解器(Thread-Resolved Decomposer)用于正确绑定图像及其对应的文本;影响评分演示选择器(Influence-scored Demonstration Selector)用于移除冗余示例并排序信息性示例;以及弱到强一致性校准模块(Weak-to-Strong Consistency…
-
新基准和框架推动AI空间推理能力发展
研究人员正在开发新的框架和基准来提高AI模型,特别是大型视觉语言模型(LVLMs)的空间推理能力。Anvil等项目专注于具身空间智能的统一数据生成和训练,而RoTA-Bench和GeoSpatialBench通过交互式任务和真实世界数据评估3D空间推理和地理空间理解能力。这些努力旨在弥合被动识别与主动操纵空间信息之间的差距,解决当前模型在推断几何形状、预测旋转和根据视觉反馈优化动作方面的局限性。
-
新方法优化大型视觉语言模型的视觉令牌化 · 跟踪到 4 个来源
研究人员开发了几种新方法来优化大型视觉语言模型(VLM)的视觉令牌化,旨在降低计算开销同时保持准确性。MixTok 引入了一种混合方法,结合了全局一维令牌和用于局部精炼的稀疏二维令牌,在 ImageNet 上取得了有竞争力的性能。ERASE 采用两阶段框架,首先去除图像级冗余,然后修剪与指令无关的令牌,在 Qwen2.5-VL-7B 上展示了显著的令牌减少和最小的准确性损失。ReFIT 提供了一个指令引导的框架,该框架适应相关区域的空…
-
新的防御机制Anti-Persona旨在对抗LVLMs中未经授权的身份绑定
研究人员开发了一种名为Anti-Persona的新型防御机制,用于对抗个性化大型视觉-语言模型(LVLMs)中未经授权的身份绑定和识别。该方法通过识别和扰乱参考图像中的共享视觉特征,创建一个“身份原型”,从而破坏模型识别特定身份的能力。Anti-Persona旨在保护视觉保真度,同时实现对身份绑定的高保护率,并在各种任务中甚至在编码器不匹配的情况下都显示出有效性。
-
新方法TRC将LLM中的不受控制的重复减少了57%
研究人员开发了一种名为Tokenwise Residual Comparison (TRC) 的新方法,用于识别和缓解大型语言模型和视觉-语言模型中不受控制的重复。该技术分析生成过程中的残差流动力学,以找出与重复输出相关的异常。实验表明,TRC能将循环率平均降低57%,并深入了解重复语义如何在模型层中产生和传播。
-
新的无训练框架解决了视频异常检测问题
两篇新的研究论文介绍了一种新颖的视频异常检测无训练框架。Cog-VADU 利用认知推理方法和思维链提示策略来保持时间连续性并提高异常区分能力。PARSEE-VAD 采用一个双模块系统,将语义证据获取与分数状态演化分开,使用命题感知推理和流式证据升级来实现高效的在线检测。这两种方法都旨在在开放场景中提高泛化能力,而无需进行数据集特定的训练。