PulseAugur
中
实时 21:38:42
实体 Video LLMs

Video LLMs

PulseAugur coverage of Video LLMs — every cluster mentioning Video LLMs across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
5
90 天内 30
发布 · 30天
0
90 天内 0
论文 · 30天
5
90 天内 30
层级分布 · 90 天
主题
关系
情绪 · 30 天

2 天有情绪数据

最近 · 第 1/2 页 · 共 32 条
  1. RESEARCH · CL_357589 ·

    新基准显示 MLLMs 在自动驾驶场景中表现不佳 · 跟踪 2 个来源

    研究人员开发了两个新基准 MVDriveBench 和 DashBench,以评估多模态大语言模型 (MLLMs) 和视频大语言模型在理解和推理复杂驾驶场景方面的能力。MVDriveBench 侧重于自动驾驶的环视视频分析,而 DashBench 则专门针对罕见且具有安全关键性的“边缘案例”。两个基准都显示,当前的 MLLMs 和视频大语言模型在准确解读驾驶情况方面存在显著局限性,经常误判事件或虚构细节,这凸显了它们在自动驾驶系统应用…

  2. TOOL · CL_352212 ·

    研究发现,视频大语言模型因读出失败而在事件计数方面遇到困难

    研究人员发现视频大语言模型(LLMs)存在严重的读出失败问题,这阻碍了它们准确计数屏幕上物体经过等事件的能力。尽管模型拥有必要的信息,但它们在正确处理和输出信息方面存在困难。该研究提出了两种读出导向的修复方法:片段定位监督和离散事件符号侧通道,这使得在具有挑战性的基准测试中,同类物体计数性能从46.7%提高到65.0%。进一步的分析揭示了数据完整性问题,并强调虽然核心读取能力是存在的,但部署的输出头仍然是一个瓶颈。

  3. TOOL · CL_320710 ·

    发布新Qwen模型、视频LoRA和SVU研究;Anthropic用户报告限速加快

    一款新的、更小的Qwen模型Qwen3.5-4B-3D-Coder已在Hugging Face上发布,并提供了与llama.cpp、Ollama和Docker等各种工具集成的说明。另外,LiconStudio发布了Minimax-H3-VBVR,这是一种图像到视频的LoRA,旨在提高视频生成中的对象一致性和角色动作逻辑。在研究方面,提出了一种名为FrameBlend的方法,通过选择性地重新计算KV缓存来增强流式视频理解,提高了准确性和…

  4. TOOL · CL_301046 ·

    新框架解决视频大语言模型幻觉问题

    研究人员开发了一种名为“注意力引导的表示扰动用于对比解码”(ARP-CD)的无训练框架,以解决视频大语言模型(Video LLMs)中的幻觉问题。该方法通过使用分配给视觉标记的注意力质量来指导语言模型输入视觉隐藏状态的更新,直接在表示空间中构建对比负样本。在四个 Video LLMs 和四个基准上的实验表明,ARP-CD 有效地减少了幻觉并增强了通用视频理解能力,在大多数情况下优于现有的无训练基线。

  5. RESEARCH · CL_294714 ·

    新方法提高视频大语言模型效率 · 跟踪4个来源

    研究人员开发了新的方法来压缩视频大语言模型(VLLMs)中的视觉令牌,以提高推理效率。一种方法是视频编解码器引导的无训练令牌压缩,它利用现有的视频编解码器信息(如运动矢量和残差)来指导压缩过程,性能可与现有方法相媲美甚至更好,同时减少了计算比较。另一种方法KiToke将视觉令牌视为时空分布的样本,利用嵌入密度来平衡令牌分配,即使在非常低的保留率下也能保持准确性。第三种方法OmniSelect根据模态相关性(音频与视频)动态调整压缩策略…

  6. TOOL · CL_245629 ·

    新的MotionBlind基准揭示视频大语言模型在运动理解方面存在不足

    一个名为MotionBlind的新基准已被开发出来,用于测试视频大语言模型(Video-LLMs)的运动理解能力。研究人员发现,大多数开源的Video-LLMs表现不佳,即使在呈现清晰的视觉数据时,也常常无法区分不同的运动速度或方向。虽然Gemini-3.1 Pro有所改进,但在准确评估速度方面仍有困难,这表明当前的Video-LLMs在需要真正理解运动的任务中尚不可靠。

  7. TOOL · CL_231456 ·

    新的TempCloze基准测试视频大模型的时间推理能力

    研究人员推出TempCloze,这是一个旨在评估视频大模型(Video-LLMs)时间推理能力的新基准。该基准通过向模型展示视频的开头和结尾,并要求它们从四个选项中识别出正确的缺失中间片段,来缓解语言捷径问题。对各种专有和开源视频大模型的初步评估表明,时间对齐是当前模型面临的一个重大挑战。

  8. TOOL · CL_248030 ·

    新的TempCloze基准揭示视频大模型中的时间对齐瓶颈

    一个名为TempCloze的新基准已被开发出来,用于评估视频大模型(Video-LLMs)的视觉时间推理能力。该基准向模型展示视频的开头和结尾,并要求它们从四个选项中识别出正确的缺失中间片段。对众多专有和开源视频大模型的评估表明,时间对齐是这些模型的主要挑战,因为它们尽管能理解语义内容和局部进展,却常常难以将事件正确地放置在视频的时间线上。

  9. TOOL · CL_185670 ·

    华为 IJCAI 2026 论文聚焦 AI 模型效率提升 · 追踪 1 个来源

    华为在 IJCAI-ECAI 2026 上发表了四篇论文,将重点从扩大模型规模转向优化效率和设计。其中一篇论文详细介绍了一个分层 Vision Transformer (ViT),该模型扩展到 300 亿参数,通过重新设计架构和训练策略,以更少的激活参数实现了高精度。另一篇论文为视频大语言模型 (Video-LLMs) 引入了一个可学习帧选择器 (LFS),该选择器智能地选择关键帧以降低计算成本并提高视频描述准确性。第三篇论文提出 R…

  10. TOOL · CL_185507 ·

    新的SlotNarrative接口提高了视频-LLM的令牌效率

    研究人员推出了一种名为SlotNarrative的新型接口,旨在提高视频大型语言模型(Video-LLMs)的令牌效率。该系统使用紧凑的对象状态令牌将视频组织成持久化对象叙事,这些令牌代表对象在不同片段中的身份及其状态(外观、几何形状、可见性、轨迹)。与之前压缩逐帧特征的方法不同,SlotNarrative首先将视觉特征分组到类似对象的槽中,然后通过无参数内存将重复的观察与剪辑级条目关联起来。这种方法为冻结的Video-LLM分配了固…

  11. RESEARCH · CL_180974 ·

    两种新方法解决视频LLM令牌压缩以提高效率

    两篇新的研究论文提出了用于压缩视频大型语言模型(Video-LLM)中视频令牌的新颖方法,以提高效率。第一篇论文介绍了NovaCov,这是一种为流媒体视频设计的集合式令牌压缩器,它使用历史参考库和双分支子模覆盖目标来保留代表性内容,同时将LLM预填充延迟降低46%。第二篇论文提出了ONCE,一个离线学习频率感知全局码本的框架,并将其用于轻量级在线压缩,显著降低了每视频的计算量和推理延迟。

  12. RESEARCH · CL_181051 ·

    新的PhyCheck数据集评估视频大语言模型对物理定律的理解

    研究人员推出了PhyCheck,这是一个旨在评估和改进视频大语言模型(VideoLLMs)物理定律理解能力的新数据集。该数据集包含粗粒度和细粒度子集,用于评估模型是否能识别物理定律的违规行为以及导致这些违规行为的具体细节。使用PhyCheck数据对Qwen2.5-VL进行微调的实验表明,物理一致性有了显著提高,尽管当前模型在整合额外的因果背景方面仍存在困难。

  13. TOOL · CL_154701 ·

    Video-HOCA基准揭示视频大语言模型在异常解释方面存在困难

    引入了一个名为Video-HOCA的新诊断基准,用于评估视频大语言模型(Video-LLMs)的物理异常推理能力。该基准利用本体因果分类法,包含1400多个视频和3470多个经人工验证的问答对。对20个指令模式Video-LLMs的初步测试显示,虽然识别任务得分约为75-88%,但解释任务(任务II)的宏观F1得分大多低于50%,表明在识别异常和解释异常之间存在显著差距。

  14. TOOL · CL_145821 ·

    新基准诊断视频大语言模型的视觉基础能力

    一篇新论文引入了视觉依赖差距(VDG)来评估视频大语言模型(LLMs)的视觉基础能力。VDG衡量了模型处理原始视频和黑屏时的准确率差异,揭示了许多模型的性能提升并非源于视觉理解,而是帧多样性。研究发现,时间推理对准确率的贡献很小,即使稳定的聚合准确率也可能掩盖重大的问题级别答案翻转。VDG被提议作为评估视频大语言模型视觉基础能力的标准审计。

  15. RESEARCH · CL_141071 ·

    新的E-VQA任务旨在提高视频LLM的透明度

    研究人员推出了一种名为证据支持视频问答(E-VQA)的新任务,旨在提高视频大语言模型(Video LLM)的透明度。目前的模型通常在没有明确视觉依据的情况下提供答案,现有的可解释性方法也有限。E-VQA要求模型同时输出语义答案和精确的时空证据,例如时间段和对象掩码。为了支持这一点,创建了一个名为ST-Evidence的新基准,以及一个名为ST-Evidence-Instruct的大规模数据集,用于训练模型进行细粒度的视觉基础定位。

  16. RESEARCH · CL_141275 ·

    新的SLVMBench基准测试揭示视频大语言模型在从长记忆中学习技能方面存在困难

    研究人员推出了SLVMBench,这是一个新颖的基准测试,旨在评估视频大语言模型(video-LLMs)从扩展视频记忆中学习技能并在实时场景中应用它们的能力。该基准测试通过在数小时的不相关内容中嵌入教程视频来模拟人类学习,测试模型记忆、提取程序性知识并将其转移到正在进行的任务中的能力。初步评估表明,当前的视频大语言模型在这一过程中存在显著困难,特别是当所需知识嵌入在长视频上下文中时,这凸显了它们在技能获取和应用能力方面的一个关键限制。

  17. RESEARCH · CL_139317 ·

    GeoTrace框架压缩视频令牌,以提高视频大语言模型的效率

    研究人员推出GeoTrace,一个新颖的框架,旨在通过压缩视频令牌来提高视频大语言模型(Video LLMs)的效率。这种无需训练的方法使用上下文最远点锚定和轨迹约束残差凝结,将视频证据分解为骨架和残差事件令牌。GeoTrace已在各种Video LLMs和基准测试中证明了其有效性,在保持高性能的同时显著降低了计算负载。

  18. RESEARCH · CL_128644 ·

    TimeThink框架增强视频大语言模型的时间推理能力 · arXiv论文

    研究人员推出TimeThink,一个新颖的强化学习框架,旨在增强视频大语言模型(Video-LLMs)的时间推理能力。该方法通过将时间线索步骤视为核心优化原语,专注于优化长视频序列中相关时间证据的发现。TimeThink利用分步时间过程奖励进行局部信用分配,并结合过程-结果优化目标来提高推理准确性和任务正确性。该框架得到了TimeThink-RFT-20K数据集的支持,该数据集包含自动提取的时间证据片段,并在各种视频理解基准测试中展示…

  19. RESEARCH · CL_111633 ·

    去噪注意力(DnA)提升视觉任务性能

    研究人员推出了一种名为去噪注意力(DnA)的新方法,旨在提高基于注意力模型的视觉任务性能。DnA通过使用正负查询分别识别相关和不相关的图像特征,解决了标准softmax激活产生的噪声注意力模式问题。该方法将交互投影到不同的子空间,增强了特征的可辨别性。当应用于Vision Transformer Base (ViT-B)骨干网络时,DnA在ImageNet-1K上实现了0.8%的绝对增益,并在视频理解任务(包括视频Transforme…

  20. RESEARCH · CL_79694 ·

    新基准和框架提升视频时序定位能力

    研究人员为改进长视频中的时序定位引入了新的基准和框架。一项研究认为,小时级视频定位主要是一个搜索问题,而非识别问题,并发布了ExtremeWhenBench基准来支持这一观点。另一种方法TaRO通过时间感知和新颖的奖励系统来优化其推理过程,从而增强多模态大语言模型。第三种方法CACR利用候选选择和因果推理,在教学视频时序定位任务上取得了最先进的性能。