LongVideoBench
PulseAugur coverage of LongVideoBench — every cluster mentioning LongVideoBench across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
新的DELTAVID框架提升视频大语言模型的细粒度感知能力
研究人员推出了一种新颖的DELTAVID框架，旨在提升视频多模态大语言模型（Video MLLMs）的细粒度时空感知能力。该方法将识别相似视频之间差异的任务转化为可训练信号，使模型能够精确识别局部变化、时间边界和空间证据。该框架得到了DELTAVID-10K和DELTAVID-Bench数据集的支持，这些数据集旨在促进这些感知技能的可扩展训练和可靠评估。实验表明，DELTAVID显著提升了跨视频差异理解的性能，并将这种改进的局部证据推…
-
新的ReQuest管道增强了长视频问答的LLM能力
研究人员开发了ReQuest，这是一个旨在提高长视频问答能力的新型管道。该方法通过采用一种由不确定性驱动的、适应性问题选择关键帧的过程，解决了多模态大型语言模型中固定输入令牌预算的限制。ReQuest集成了一个轻量级选择器、一个根据模型不确定性触发额外推理的路由机制，以及一种自适应非最大抑制技术来选择相关且时间上多样化的帧。该系统作为一个即插即用解决方案，在Video-MME、MLVU和LongVideoBench等基准测试上提高了性…
-
新的QCA框架通过优化关键帧选择来增强长视频理解能力
研究人员开发了一个名为QCA的新框架，用于在长视频中选择关键帧以提高视频理解能力。该方法是查询和内容感知的，意味着它优先考虑与特定查询相关且能捕捉重要内容变化的帧。QCA动态地为不同的视频片段分配关键帧，并选择最大化多样性同时保持语义相关性的帧。该框架无需额外训练，即可集成到现有的Video-LLMs中，并在LongVideoBench等基准测试中展现出最先进的性能，其关键帧选择效率优于GPT-4o。
-
新的STAR框架提升LLM视频分析能力
研究人员开发了一个时空推理框架（STAR），以增强多模态大语言模型（MLLMs）的视频问答能力。STAR为GPT-4o等模型配备了视频工具包和战略调度系统，以改进时空推理。该方法已显示出显著的进步，包括在VideoMME基准上提高了8.2%，在LongVideoBench上提高了4.6%，为更智能的视频分析助手铺平了道路。
-
HiMu框架通过分层帧选择增强长视频问答能力
研究人员开发了HiMu，一个旨在改进长视频问答任务帧选择的新型框架。该无训练系统将复杂查询分解为分层逻辑树，利用专门的视觉和音频处理专家。HiMu的方法使用模糊逻辑对专家信号进行归一化和组合，以保持时间顺序和模态绑定，在Video-MME和LongVideoBench等基准测试中表现优于先前的方法。
-
Reflect-R1框架通过证据驱动的自我纠错提升AI视频理解能力
研究人员推出了一种名为Reflect-R1的新型框架，旨在增强长视频理解模型中的自我纠错能力。该系统通过引入一种证据驱动的方法，解决了模型因缺乏外部证据而变得过于自信的问题。Reflect-R1采用了一个三阶段流程：直觉、验证和仲裁，该流程动态检索视觉证据来验证初步评估并解决冲突，从而防止幻觉。为了应对多阶段流程中的强化学习复杂性，开发了一种名为SD-GRPO的阶段解耦算法，并创建了一个包含120,000个样本的新数据集以促进训练。在…
-
Kwai发布Keye-VL-2.0用于长视频理解
Kwai发布了Keye-VL-2.0-30B-A3B，这是一个开源的多模态基础模型，专为长视频理解和智能体智能而设计。该模型利用DeepSeek稀疏注意力处理高达256K的上下文，捕捉长达一小时视频中的关键帧和时间依赖性。它还结合了跨模态多教师策略内蒸馏，以增强各种场景下的多任务对齐和智能体协作。评估显示在视频理解和时间定位基准测试中取得了最先进的性能。
-
CREST方法高效选取长视频关键帧
研究人员开发了CREST，一种用于高效选取长视频关键帧的新颖方法。这种无需训练的方法利用查询帧相关性的时间几何结构，特别关注局部曲率，以识别显著事件并将其与冗余片段区分开来。与启发式方法相比，CREST在LongVideoBench和VideoMME等基准测试中表现出更高的准确性，同时与更复杂的检索流程相比，显著降低了预处理成本。
-
GridProbe 降低长视频 VLM 的计算成本
研究人员开发了 GridProbe，一种提高长视频视觉语言模型 (VLM) 效率的新方法。该技术在推理过程中自适应地选择相关帧，从而降低了处理数千帧的计算成本。GridProbe 通过在答案空间中探测帧的重要性来实现这一点，从而能够在不牺牲准确性的情况下根据问题难度动态调整处理的帧数。
-
LinMU 为多模态理解模型实现线性复杂度
研究人员开发了 LinMU，一种新颖的视觉语言模型（VLM）架构，实现了线性复杂度，克服了当前模型二次复杂度的限制。这种新设计利用了 M-MATE 块，结合了状态空间模型和窗口注意力，以高效处理高分辨率图像和长视频。通过三阶段蒸馏过程，LinMU 在显著减少处理时间和提高吞吐量的同时，达到了现有模型的性能，使先进的多模态推理更加易于访问。