LongVideoBench
PulseAugur coverage of LongVideoBench — every cluster mentioning LongVideoBench across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新的MEDR方法提高了多模态LLM视频处理效率
研究人员开发了一种名为MEDR的新型查询无关帧选择方法，旨在提高多模态大型语言模型处理长视频时的效率。与需要为每个问题选择帧的查询相关方法不同，MEDR创建了一个固定的帧集，可跨多个查询重复使用。该方法利用多信号事件建模和动态重评分来识别超越简单均匀采样的信息帧，在Video-MME和LongVideoBench等基准测试中准确率提高了多达1.23%。
-
新的LAVE框架通过重用潜在视觉证据增强视频代理规划能力
研究人员推出了一种新颖的LAVE框架，旨在增强视频工具使用代理的规划能力。LAVE通过允许代理重用先前工具调用的潜在视觉证据，而不是仅仅依赖文本摘要，来解决“工具观察瓶颈”问题。这种双通道接口保留了文本轨迹和非语言化的视觉更新，使代理能够整合相关且先前未被语言化的证据。在Video-MME等基准测试上的实验表明，LAVE在可比帧预算下显著提高了性能，整体得分提高了3.76分。
-
新框架提升AI长视频理解效率
研究人员开发了两个新框架EcoFrame和EviSelect，旨在提高大型语言模型处理长视频理解的效率。EcoFrame采用一种无需训练的方法，根据模型的输出不确定性和注意力模式来调整帧选择过程，实现了显著的加速，并且准确性与现有方法相当。EviSelect则采用一种基于目标模型内部注意力的动态视觉选择方法，通过自适应地调整采样率和空间分辨率，同时优化准确性和效率。
-
新的GCR框架通过优化帧选择来增强长视频问答
研究人员推出了一种新颖的GCR框架，旨在通过在有限预算内优化相关帧的选择来改进长视频问答。这种无需训练的方法通过防止帧聚类并增强文本和视觉证据之间的对齐来解决现有方法的局限性。GCR通过三个阶段的过程实现这一目标：Ground（定位）、Cover（覆盖）和Refine（精炼），通过选择与查询相关的锚点、用互补的视觉信息对其进行补充，并重新审视被遗漏的区域以获取潜在的更大价值来共同策划证据。在LongVideoBench和Video-M…
-
FORGE 方法在无需重新训练的情况下增强了 LLM 的视频理解能力
研究人员开发了 FORGE，一种用于提高多模态大语言模型 (MLLM) 长视频理解能力的新颖方法。这种模型无关的技术在推理时运行，无需额外的训练。FORGE 通过在 MLLM 的嵌入空间中创建查询条件几何来实现，有效平衡了帧选择的相关性和多样性。在 Video-MME 和 LongVideoBench 等基准测试上的实验表明，在各种 MLLM 中，关键帧选择和问答准确性均得到显著提高。
-
新框架通过自适应帧处理提升 MLLM 长视频理解能力 · 跟踪 3 个来源
三篇新研究论文介绍了增强多模态大语言模型（MLLM）长视频理解能力的新型框架。这些方法旨在通过自适应地选择和处理相关视频帧来克服固定上下文窗口的限制。ReMem 专注于解析问题的时序粒度并将帧与查询语义对齐，而 CADER 则动态推理证据置信度，绕过对简单问题的不必要处理。GenEvA 将选定的帧聚合为潜在证据表示，以最小的开销提高性能。
-
新的 VIBE 方法在无标注情况下改进了视频到文本模型的摘要
研究人员开发了 VIBE，一种用于视频到文本模型的无标注评估方法。VIBE 根据摘要与视觉内容的关联性及其在下游任务中的效用进行评估，旨在克服当前视觉语言模型输出冗长和重复的局限性。人类研究表明，使用 VIBE 选择的摘要与标准的 VLM 摘要或原始视频相比，任务准确率显著提高了 61.23%，响应时间缩短了 75.77%。
-
新的DELTAVID框架提升视频大语言模型的细粒度感知能力
研究人员推出了一种新颖的DELTAVID框架，旨在提升视频多模态大语言模型（Video MLLMs）的细粒度时空感知能力。该方法将识别相似视频之间差异的任务转化为可训练信号，使模型能够精确识别局部变化、时间边界和空间证据。该框架得到了DELTAVID-10K和DELTAVID-Bench数据集的支持，这些数据集旨在促进这些感知技能的可扩展训练和可靠评估。实验表明，DELTAVID显著提升了跨视频差异理解的性能，并将这种改进的局部证据推…
-
新的ReQuest管道增强了长视频问答的LLM能力
研究人员开发了ReQuest，这是一个旨在提高长视频问答能力的新型管道。该方法通过采用一种由不确定性驱动的、适应性问题选择关键帧的过程，解决了多模态大型语言模型中固定输入令牌预算的限制。ReQuest集成了一个轻量级选择器、一个根据模型不确定性触发额外推理的路由机制，以及一种自适应非最大抑制技术来选择相关且时间上多样化的帧。该系统作为一个即插即用解决方案，在Video-MME、MLVU和LongVideoBench等基准测试上提高了性…
-
新的QCA框架通过优化关键帧选择来增强长视频理解能力
研究人员开发了一个名为QCA的新框架，用于在长视频中选择关键帧以提高视频理解能力。该方法是查询和内容感知的，意味着它优先考虑与特定查询相关且能捕捉重要内容变化的帧。QCA动态地为不同的视频片段分配关键帧，并选择最大化多样性同时保持语义相关性的帧。该框架无需额外训练，即可集成到现有的Video-LLMs中，并在LongVideoBench等基准测试中展现出最先进的性能，其关键帧选择效率优于GPT-4o。
-
新的STAR框架提升LLM视频分析能力
研究人员开发了一个时空推理框架（STAR），以增强多模态大语言模型（MLLMs）的视频问答能力。STAR为GPT-4o等模型配备了视频工具包和战略调度系统，以改进时空推理。该方法已显示出显著的进步，包括在VideoMME基准上提高了8.2%，在LongVideoBench上提高了4.6%，为更智能的视频分析助手铺平了道路。
-
HiMu框架通过分层帧选择增强长视频问答能力
研究人员开发了HiMu，一个旨在改进长视频问答任务帧选择的新型框架。该无训练系统将复杂查询分解为分层逻辑树，利用专门的视觉和音频处理专家。HiMu的方法使用模糊逻辑对专家信号进行归一化和组合，以保持时间顺序和模态绑定，在Video-MME和LongVideoBench等基准测试中表现优于先前的方法。
-
Reflect-R1框架通过证据驱动的自我纠错提升AI视频理解能力
研究人员推出了一种名为Reflect-R1的新型框架，旨在增强长视频理解模型中的自我纠错能力。该系统通过引入一种证据驱动的方法，解决了模型因缺乏外部证据而变得过于自信的问题。Reflect-R1采用了一个三阶段流程：直觉、验证和仲裁，该流程动态检索视觉证据来验证初步评估并解决冲突，从而防止幻觉。为了应对多阶段流程中的强化学习复杂性，开发了一种名为SD-GRPO的阶段解耦算法，并创建了一个包含120,000个样本的新数据集以促进训练。在…
-
Kwai发布Keye-VL-2.0用于长视频理解
Kwai发布了Keye-VL-2.0-30B-A3B，这是一个开源的多模态基础模型，专为长视频理解和智能体智能而设计。该模型利用DeepSeek稀疏注意力处理高达256K的上下文，捕捉长达一小时视频中的关键帧和时间依赖性。它还结合了跨模态多教师策略内蒸馏，以增强各种场景下的多任务对齐和智能体协作。评估显示在视频理解和时间定位基准测试中取得了最先进的性能。
-
CREST方法高效选取长视频关键帧
研究人员开发了CREST，一种用于高效选取长视频关键帧的新颖方法。这种无需训练的方法利用查询帧相关性的时间几何结构，特别关注局部曲率，以识别显著事件并将其与冗余片段区分开来。与启发式方法相比，CREST在LongVideoBench和VideoMME等基准测试中表现出更高的准确性，同时与更复杂的检索流程相比，显著降低了预处理成本。
-
GridProbe 降低长视频 VLM 的计算成本
研究人员开发了 GridProbe，一种提高长视频视觉语言模型 (VLM) 效率的新方法。该技术在推理过程中自适应地选择相关帧，从而降低了处理数千帧的计算成本。GridProbe 通过在答案空间中探测帧的重要性来实现这一点，从而能够在不牺牲准确性的情况下根据问题难度动态调整处理的帧数。
-
LinMU 为多模态理解模型实现线性复杂度
研究人员开发了 LinMU，一种新颖的视觉语言模型（VLM）架构，实现了线性复杂度，克服了当前模型二次复杂度的限制。这种新设计利用了 M-MATE 块，结合了状态空间模型和窗口注意力，以高效处理高分辨率图像和长视频。通过三阶段蒸馏过程，LinMU 在显著减少处理时间和提高吞吐量的同时，达到了现有模型的性能，使先进的多模态推理更加易于访问。