PulseAugur
中
实时 10:07:48
实体 Video Large Language Models

Video Large Language Models

PulseAugur coverage of Video Large Language Models — every cluster mentioning Video Large Language Models across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
3
90 天内 9
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 9
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 9 条
  1. TOOL · CL_327347 ·

    综述文章详述视频大语言模型加速方法

    一篇新发布的arXiv论文详细介绍了加速视频大语言模型(VLMs)推理的方法。该论文根据推理流程中的干预点对技术进行分类,包括输入处理、视觉编码、投影仪、预填充和解码阶段。它还将训练后量化(PTQ)作为一种跨阶段方法进行讨论,并分析了计算节省与时空证据保留之间的权衡。

  2. TOOL · CL_294741 ·

    新的OWLET方法通过视觉证据迁移增强视频大语言模型的推理能力

    研究人员推出了一种新颖的视频大语言模型(Video-LLMs)训练后方法OWLET,该方法通过更有效地利用视觉证据来增强推理能力。与使用粗粒度奖励或简单分布匹配的先前方法不同,OWLET采用了一种证据优先的强化学习方法。该方法从一个更丰富的教师视图中提取训练信号,该视图结合了全局时间上下文和与问题相关的局部细节,而无需更大的模型。OWLET结合了证据感知信用再分配和时空状态对齐,以改进模型处理视觉信息的方式。

  3. RESEARCH · CL_294714 ·

    新方法提高视频大语言模型效率 · 跟踪4个来源

    研究人员开发了新的方法来压缩视频大语言模型(VLLMs)中的视觉令牌,以提高推理效率。一种方法是视频编解码器引导的无训练令牌压缩,它利用现有的视频编解码器信息(如运动矢量和残差)来指导压缩过程,性能可与现有方法相媲美甚至更好,同时减少了计算比较。另一种方法KiToke将视觉令牌视为时空分布的样本,利用嵌入密度来平衡令牌分配,即使在非常低的保留率下也能保持准确性。第三种方法OmniSelect根据模态相关性(音频与视频)动态调整压缩策略…

  4. RESEARCH · CL_160683 ·

    新的V-DEAL框架诊断视频LLM中的安全缺陷

    一项新的研究论文介绍V-DEAL,一个旨在识别视频大型语言模型(Video LLM)安全漏洞的诊断框架。研究发现,与明确有害的查询配对相比,有害视频与良性查询配对更容易受到攻击。V-DEAL分析模型行为、理解和内部表征,以查明这种“理解-拒绝耦合失败”,揭示与文本理解相比,视觉理解触发的拒绝倾向较弱。研究人员还开发了一种提示注入方法,该方法显著降低了攻击成功率,为增强Video LLM安全性提供了一个实用的解决方案。

  5. RESEARCH · CL_141275 ·

    新的SLVMBench基准测试揭示视频大语言模型在从长记忆中学习技能方面存在困难

    研究人员推出了SLVMBench,这是一个新颖的基准测试,旨在评估视频大语言模型(video-LLMs)从扩展视频记忆中学习技能并在实时场景中应用它们的能力。该基准测试通过在数小时的不相关内容中嵌入教程视频来模拟人类学习,测试模型记忆、提取程序性知识并将其转移到正在进行的任务中的能力。初步评估表明,当前的视频大语言模型在这一过程中存在显著困难,特别是当所需知识嵌入在长视频上下文中时,这凸显了它们在技能获取和应用能力方面的一个关键限制。

  6. RESEARCH · CL_139317 ·

    GeoTrace框架压缩视频令牌,以提高视频大语言模型的效率

    研究人员推出GeoTrace,一个新颖的框架,旨在通过压缩视频令牌来提高视频大语言模型(Video LLMs)的效率。这种无需训练的方法使用上下文最远点锚定和轨迹约束残差凝结,将视频证据分解为骨架和残差事件令牌。GeoTrace已在各种Video LLMs和基准测试中证明了其有效性,在保持高性能的同时显著降低了计算负载。

  7. RESEARCH · CL_107733 ·

    新基准推动视频AI将答案与时间证据联系起来 · 跟踪4个来源

    两篇新的研究论文介绍了视频问答的基准和模型,这些模型侧重于时间推理和证据关联。EG-VQA基准拥有超过11,000个问答对和时间证据注释,突显出当前模型在准确本地化证据方面存在困难,即使答案是正确的。为了解决这个问题,开发了EG-Reasoner模型,在推理密集型任务上表现有所提高。另外,ViTexQA数据集和FrameThinker模型解决了视频文本理解问题,其中语义是从时间分布的线索中产生的,通过提高ROUGE-L分数,其表现优于…

  8. RESEARCH · CL_53581 ·

    VideoLLMs 表现出“事件包”行为,臆想时间联系

    一篇新发表在 arXiv 上的研究介绍了 DistractionBench,一个旨在测试视频大语言模型 (VideoLLMs) 时间理解能力的框架。研究人员发现,这些模型经常表现出“事件包”行为,这意味着它们将视频视为一系列不相关的事件集合,而不是一个连贯、有时间结构序列。这会导致显著的臆想,模型会错误地将插入片段(如广告)中的动作归因于主视频内容中的主体。该研究评估了 11 个流行的 VideoLLMs,所有模型都显示出这一缺陷,突…

  9. TOOL · CL_45034 ·

    EvoVid框架使视频大语言模型能够利用原始视频数据进行自进化

    研究人员推出了一种名为EvoVid的新型框架,旨在通过时间中心自进化来增强视频大语言模型(Video-LLMs)。与以往仅限于静态数据的自进化方法不同,EvoVid通过关注时间动态,使Video-LLMs能够直接从原始、未标注的视频中学习。该框架结合了用于问题生成和视频片段定位的专门奖励,从而在多个基准测试和基础模型上实现了持续的性能提升。