LLaVA-1.5-7B
PulseAugur coverage of LLaVA-1.5-7B — every cluster mentioning LLaVA-1.5-7B across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
VLM幻觉基准受Token读出选择的干扰
对用于评估视觉语言模型（VLM）幻觉的POPE基准进行的一项新审计显示，Token读出的选择会显著影响性能。研究人员发现，LLaVA-1.5-7B模型在对抗性分割上的F1分数，根据评估代码是否正确处理了由SentencePiece分词产生的“ Yes”和“ No”等带空格前缀的Token，可能会变化超过6个点。这种协议层面的混淆，而非模型特定的幻觉缓解措施，似乎解释了先前研究中报告的大幅提升，因为在其他VLM上也观察到了类似的问题。
-
新框架支持多模态大语言模型中的选择性属性遗忘
研究人员推出了一种名为因果定位和保留感知投影（CLRP）的新框架，用于多模态大语言模型（MLLMs）的属性级别遗忘。该方法旨在选择性地从MLLMs中移除敏感属性，同时不损害整体模型效用或影响同一身份的其他信息。CLRP是一种无需训练的方法，它识别因果定位的关键层，并投影中间表示以实现这种选择性遗忘。在LLaVA-1.5-7B和Qwen2.5-VL-3B等模型上的实验证明了CLRP在减少残留泄露和附带退化方面的有效性。
-
Monarch-MoE：用于多模态持续指令调优的结构化专家
研究人员开发了Monarch-MoE，一种用于多模态持续指令调优的新方法，解决了灾难性遗忘问题。通过使用块对角因子和固定排列来构建LoRA专家，Monarch-MoE实现了块状梯度隔离，这意味着一个块的更新不会影响其他块。该方法在MLLM-DCL和UCIT的评估中分别显著减少了适配器参数（约75%和50%），同时保持了较高的首任务保留率。该系统针对内存有限的硬件进行了优化，能够在单块24 GB RTX 4090上进行微调和推理，运行时…
-
新的ComCLIP框架增强了VLMs的CLIP视觉编码器
研究人员提出了ComCLIP，一个用于精炼CLIP视觉编码器的新框架，该编码器是LLaVA等模型的基础。与之前的发现相反，他们证明了当对比温度设置得当时，对比预训练是有效的。ComCLIP冻结文本编码器，并使用有温度的对比损失、MSE锚定损失以及来自DINOv2的关系蒸馏。该方法在零样本分类上与现有基线相匹配，并提高了视觉特征的可迁移性，同时保持了与LLaVA的下游兼容性。
-
新攻击利用压缩引发的视觉语言模型故障
研究人员开发了一种名为特征感知令牌攻击（FATA）的新型对抗性攻击方法，旨在利用大型视觉语言模型（VLMs）中因视觉令牌压缩而产生的漏洞。该攻击旨在导致隐蔽故障，即模型在处理完整令牌时表现正常，但在压缩后出现错误，即使两个推理路径在初始干净图像上都能成功。FATA通过抑制注意力同时保留显著令牌的基于余弦的特征来实现这一点，在各种压缩器和任务上对LLaVA-1.5-7B模型展示了高准确度保持和条件致盲。
-
视觉语言模型：规模、安全性和效率的探索
近期研究探讨了视觉语言模型（VLM）的复杂性，重点关注它们如何处理视觉和文本信息以及它们的局限性所在。研究调查了模型大小与视觉输入分辨率之间的权衡，医疗诊断应用中失败的因果机制，以及模态差距的几何特性。进一步的研究检查了VLM的注意力机制如何与人类注视对齐，并开发了高效的token剪枝方法以降低计算成本。此外，正在创建新的数据集和基准，以提高VLM在电路布局分析等专业领域的性能，并审计它们对字体图层的理解。
-
新方法验证多模态大语言模型中的物体声明
研究人员开发了一种名为语义空间一致性验证（SSAV）的新型无训练方法，以解决多模态大语言模型中的物体幻觉问题。该技术通过评估物体声明在不同查询下的稳定性及其在图像区域内的持续定位来验证这些声明。SSAV结合了语义支持估计和查询诱导区域验证（QIRV），以降低对措辞的敏感性并识别不可靠的物体提及。实验表明，SSAV能有效减轻幻觉，在COCO、A-OKVQA和GQA等基准测试中提高了准确性，同时在应用于LLaVA-1.5-7B等模型时降低…
-
新框架通过DPO和可解释推理改进多模态灾害评估
研究人员开发了一种新颖的两阶段多模态灾害严重性评估训练框架，该框架整合了监督微调（SFT）和直接偏好优化（DPO）。该方法利用统一的数据构建流程生成两个数据集：用于SFT的ReasoningSet和用于DPO对齐的PreferenceSet。实验表明，在分类准确性和解释质量方面均有显著改进，后续的DPO对齐进一步增强了可解释性。通过在InternVL-3-8B和LLaVA-1.5-7B上的跨模型验证，证明了该框架的鲁棒性，从而能更好地…
-
研究人员针对LLaVA中的物体幻觉问题，定位其注意力头
研究人员开发了一种方法来解决LLaVA-1.5-7B等视觉语言模型中的物体幻觉问题。通过识别并针对那些导致生成图像中不存在的物体的特定注意力头，他们能够显著减少此类幻觉的发生。这种诊断到干预的流程，使用了LoRA适配器和接地控制器等技术，在COCO数据集上显示出幻觉物体提及次数的明显减少，尽管这也略微降低了物体召回率。
-
AI研究聚焦Transformer的高效视觉分词处理
研究人员正在开发新的方法来优化AI模型中视觉分词的使用，特别是对于视觉Transformer和视觉-语言模型。这些方法旨在通过选择性地修剪或压缩不太关键的分词来降低计算成本并提高推理效率。技术包括面向分词的语义通信、基于注意力分数的头部感知修剪以及用于紧凑视频表示的自适应分词选择。目标是在准确性和效率之间取得更好的权衡，使这些模型能够在资源受限的环境中更有效地运行。
-
新的 ClustRS 算法提升了 VLM 的效率和鲁棒性
研究人员开发了 ClustRS，这是一种新颖的、无需训练的两部分算法，旨在提高视觉语言模型（VLM）的效率和鲁棒性。该方法采用注意力加权聚类方法来识别和选择代表性的视觉令牌，然后进行去噪步骤来精炼这些令牌。ClustRS 算法显著减少了所需的视觉令牌数量，使得 LLaVA 等 VLM 更适合在边缘设备上部署，并提高了它们对各种图像噪声条件的抵抗能力。
-
中国科学院发布GMC以实现高效多模态AI
中国科学院自动化研究所智东太初大模型团队的研究人员开发了一种名为“基于证据的共核集剪枝”（Grounded Message Coreset Pruning, GMC）的新颖方法。该技术解决了多模态模型中Token冗余带来的高内存占用和推理速度慢的重大挑战。GMC通过自适应地从语义、视觉和空间角度选择互补证据，然后有效地将信息从不太重要的Token传输到代表性Token，所有这些都不需要额外的训练或外部模型。
-
新的TGIF模块可减少多模态大语言模型的幻觉
研究人员开发了TGIF（文本引导的层间融合），这是一种旨在减少多模态大语言模型（MLLMs）幻觉的新型模块。与以往侧重于文本或静态视觉特征融合的方法不同，TGIF根据输入查询动态地融合来自视觉编码器不同层的视觉特征。这种方法无需更新视觉编码器，并且计算开销极小。当与LLaVA-1.5-7B集成时，TGIF在减少幻觉和提高OCR和VQA任务的性能方面表现出持续的改进，同时在ScienceQA和MMBench等其他基准测试上保持或提高了结果。
-
新的审计方法评估MLLM中的视觉令牌溯源
一篇新的研究论文介绍了一种审计多模态大型语言模型（MLLM）中视觉令牌空间溯源的方法。该方法超越了传统的准确性指标，以评估模型正确答案是否可以追溯到支持它的特定视觉区域。研究表明，虽然准确性可能保持稳定，但不同的剪枝策略会导致可追溯性水平的巨大差异，从而影响模型的可靠性。提出的审计方法还显示出在批处理预填充速度和减少内存使用方面有潜在的收益，尽管有利的验证点不能保证任务通用压缩。
-
使用面部空想性错觉诊断探测视觉模型的偏见
研究人员开发了一个新的诊断框架，利用面部空想性错觉来评估视觉模型在面对模糊视觉输入时的行为。该研究分析了包括视觉-语言模型（VLMs）、纯视觉分类器和目标检测器在内的六个模型，以了解它们的决策过程。研究结果表明，LLaVA-1.5-7B等VLMs倾向于表现出语义过度激活，经常将非人脸图案误解为人脸，特别是带有负面情绪的图案。相比之下，ViT等纯视觉分类器在没有明显偏见的情况下表现出不确定性，而目标检测器则通过保守的先验知识保持低偏见。
-
新框架通过注入证据来对抗医学MLLM的幻觉
研究人员开发了一个新颖的、无需训练的框架，以增强医学多模态大语言模型（MLLM）的可信度。该系统名为协同感知-推理治理（Synergistic Perception-Reasoning Governance），通过在推理过程中注入可验证的解剖学证据来解决幻觉问题。它通过区域感兴趣（ROI）引导的激活调制来重新校准视觉感知，并通过将解剖学坐标映射到语义令牌来锚定文本推理。在多个数据集上使用各种MLLM进行的评估表明，准确性显著提高，幻觉大幅减少。
-
视觉语言模型在课堂参与度识别方面表现不佳
一项新的基准研究评估了五种视觉语言模型（VLMs）在零样本设置下识别课堂参与度的能力。包括GPT-4o和LLaVA-1.5-7B在内的模型在识别单个学生参与度方面表现不佳，呈现出随机表现和类别坍塌。然而，场景级分类显示出更大的潜力，CLIP和GPT-4o在提供特定评分标准提示时达到了中等准确率。研究还强调了实际部署的挑战，例如GPT-4o的安全过滤器拒绝了大量涉及学生面部的请求。
-
新的基准和模型在机器人和推理领域推进视觉-语言能力 · 跟踪了10个来源
近期研究探讨了多个领域中视觉-语言模型（VLM）的进展。DeCAL 引入了一个新的模型，用于灵巧操作，该模型集成了触觉感知和视觉-语言理解。ROBORMBENCH 强调了 VLM 奖励模型在机器人领域对释义的脆弱性，并提出了一个衡量这种不稳定的基准。KoNA 和 FPCO-Dialog 分别针对 VLM 中的选择性不合规和持续的错误前提，提出了新的基准和微调策略。MultihopSpatial 专注于提高 VLA 代理的多跳组合空间推…
-
新的剪枝技术有望实现更小的模型和更快的训练速度
研究人员开发了新的神经网络和数据集剪枝方法以提高效率。DCP-Prune 专注于视觉模型的超低 token 剪枝，以显著更少的 token 实现高性能。Squeeze-Release 提供迭代剪枝和结构最小化，模型压缩高达 39 倍，同时保持准确性。此外，OrderDP 和一个基于图的框架提供了理论上保证的无损动态数据剪枝，在不牺牲性能的情况下将训练速度提高了 40% 以上。
-
新方法大幅削减VLM视觉Token，提升效率
研究人员开发了三种新方法，可显著压缩大型视觉语言模型（VLM）使用的视觉Token，旨在降低计算开销并提高推理速度。InfoMerge利用时间指纹差异和内容感知分配，ETC采用任务感知视觉信息蒸馏，EvoCut分析多层Token演化。这些方法在Token数量上实现了大幅削减，其中一些方法在保持超过98%的原始性能的同时实现了显著的加速。