LLaVA-OneVision-7B
PulseAugur coverage of LLaVA-OneVision-7B — every cluster mentioning LLaVA-OneVision-7B across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
GeoGR框架通过令牌压缩和路由提升3D VLM效率
研究人员开发了GeoGR，一个旨在提高3D视觉语言模型（VLMs）效率的新型框架。GeoGR采用两阶段方法：GeoSemZip通过整合冗余观测和优先考虑语义显著性来压缩多视图3D场景表示，而GroupRoute通过允许低相关性令牌跳过层并稍后重新加入来优化LLM计算。该方法显著加速了LLM预填充速度，在LLaVA-OneVision-7B和Video-3D LLM-7B等基准测试中，性能保持了原始模型的95%以上，速度提升高达6.8倍。
-
新的MWOP技术通过定向剪枝提升MLLM效率
研究人员开发了一种名为“模态感知宽度操作剪枝”（MWOP）的新方法，以提高多模态大语言模型（MLLM）的效率。MWOP通过独立剪枝视觉到视觉、文本到视觉和文本到文本的注意力路径，并分别选择视觉和文本输入的FFN通道，来解决注意力头和前馈网络（FFN）通道内的冗余问题。这种方法在保留令牌序列的同时减少了计算量，从而显著加快了速度。在LLaVA-OneVision-7B上，MWOP单独实现了1.6倍的预填充速度提升，且性能损失极小；与令牌…
-
新研究通过高级蒸馏和记忆技术改进视觉语言模型
近期研究探索了改进视觉语言模型（VLM）的高级技术，重点关注如何有效转移知识和能力。一个研究领域是on-policy蒸馏（OPD），研究表明其有效性取决于教师的可靠性，有时会继承失败模式。另一种方法是Skill-Decoupled On-Policy Expert Distillation（SCOPED），旨在集成专门的视觉能力而无梯度冲突。此外，正在开发Latent Transition Memory（LTM）和EmbodiedMi…
-
新的 SPARK 框架通过修复 KV 内存来增强 VLM 的安全性
研究人员开发了 SPARK，一个新颖的框架，旨在通过解决其多模态键值（KV）内存中的漏洞来增强视觉语言模型（VLM）的安全性。这种两阶段方法可以在不改变模型核心参数的情况下，识别并减轻嵌入文本和图像表示中的有害内容。SPARK 已在 LLaVA-OneVision-7B 和 Qwen2-VL-7B 等多个领先的 VLM 上成功减少了越狱攻击，同时在通用能力和语言质量基准上保持了高性能。
-
新的MemTree3D方法提高了3D问答效率
研究人员开发了一种名为MemTree3D的新方法，用于在具身场景中进行更高效的3D问答。该方法使用一种紧凑、可重用的3D场景表示，使大型语言模型能够快速检索相关关键帧以进行查询，而无需处理整个视频流。MemTree3D系统提高了GPT-4o和LLaVA-OneVision-7B等模型在OpenEQA基准上的性能，优于现有的视觉搜索方法。
-
新的GSTEP框架修剪VideoLLM的token以提高效率
研究人员开发了GSTEP，一个旨在提高视频大型语言模型（VideoLLMs）效率的新型修剪框架。与先前在片段内局部修剪token的方法不同，GSTEP将视频建模为连续的时空信息流。它通过结合时空信息来计算token级别的密度，从而实现全局token采样，平衡信息密度和覆盖范围。实验表明，GSTEP可以在保持高性能的同时修剪大部分视觉token，从而在不同模型和设置下改善准确性-效率的权衡。
-
新方法大幅削减VLM视觉Token，提升效率
研究人员开发了三种新方法，可显著压缩大型视觉语言模型（VLM）使用的视觉Token，旨在降低计算开销并提高推理速度。InfoMerge利用时间指纹差异和内容感知分配，ETC采用任务感知视觉信息蒸馏，EvoCut分析多层Token演化。这些方法在Token数量上实现了大幅削减，其中一些方法在保持超过98%的原始性能的同时实现了显著的加速。
-
新框架和基准推动视频大模型效率和理解能力发展
研究人员推出了一种名为EarlyTom的新框架，旨在通过在视觉编码器早期压缩视觉令牌来提高视频大语言模型（Video-LLMs）的效率。该方法在不牺牲准确性的前提下，显著降低了首个令牌生成时间（TTFT）和计算成本。同时，OmniPro和VideoOdyssey等新基准正在开发中，用于评估全模态模型在理解流式和长上下文视频数据方面的先进能力，以解决现有评估方法的局限性。