Video-MME
PulseAugur coverage of Video-MME — every cluster mentioning Video-MME across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的DELTAVID框架提升视频大语言模型的细粒度感知能力
研究人员推出了一种新颖的DELTAVID框架，旨在提升视频多模态大语言模型（Video MLLMs）的细粒度时空感知能力。该方法将识别相似视频之间差异的任务转化为可训练信号，使模型能够精确识别局部变化、时间边界和空间证据。该框架得到了DELTAVID-10K和DELTAVID-Bench数据集的支持，这些数据集旨在促进这些感知技能的可扩展训练和可靠评估。实验表明，DELTAVID显著提升了跨视频差异理解的性能，并将这种改进的局部证据推…
-
新的ReQuest管道增强了长视频问答的LLM能力
研究人员开发了ReQuest，这是一个旨在提高长视频问答能力的新型管道。该方法通过采用一种由不确定性驱动的、适应性问题选择关键帧的过程，解决了多模态大型语言模型中固定输入令牌预算的限制。ReQuest集成了一个轻量级选择器、一个根据模型不确定性触发额外推理的路由机制，以及一种自适应非最大抑制技术来选择相关且时间上多样化的帧。该系统作为一个即插即用解决方案，在Video-MME、MLVU和LongVideoBench等基准测试上提高了性…
-
HiMu框架通过分层帧选择增强长视频问答能力
研究人员开发了HiMu，一个旨在改进长视频问答任务帧选择的新型框架。该无训练系统将复杂查询分解为分层逻辑树，利用专门的视觉和音频处理专家。HiMu的方法使用模糊逻辑对专家信号进行归一化和组合，以保持时间顺序和模态绑定，在Video-MME和LongVideoBench等基准测试中表现优于先前的方法。
-
InternVideo3 增强视频理解能力，引入新推理框架
研究人员推出了 InternVideo3，一个旨在提升长时视频理解和代理能力的新框架。该系统利用多模态上下文推理（MCR）将视频内容处理为不断演变的上下文，从而在延长时间内进行证据累积和验证。为了保持效率，InternVideo3 采用了多模态多头潜在注意力（M^2LA），该机制在不丢失 token 信息的情况下压缩键值缓存状态。该模型在各种视频理解基准测试中表现出色，并已被改编成一个能够进行证据支撑检索任务的视频代理。
-
ReTool-Video 通过递归工具使用增强视频代理
研究人员推出了 ReTool-Video，这是一种用于视频理解代理的新颖方法，可增强其推理能力。该方法利用一个包含 134 个专用工具的扩展工具库，包括用于过滤和聚合的元工具，以支持细粒度的组合推理。ReTool-Video 将高级视频意图递归地分解为可执行的工具链，从而实现动态参数修复和工具替换，以实现复杂的多模态操作。实验表明，ReTool-Video 在多个视频理解基准测试中优于现有基线。
-
LinMU 为多模态理解模型实现线性复杂度
研究人员开发了 LinMU，一种新颖的视觉语言模型（VLM）架构，实现了线性复杂度，克服了当前模型二次复杂度的限制。这种新设计利用了 M-MATE 块，结合了状态空间模型和窗口注意力，以高效处理高分辨率图像和长视频。通过三阶段蒸馏过程，LinMU 在显著减少处理时间和提高吞吐量的同时，达到了现有模型的性能，使先进的多模态推理更加易于访问。
-
推出 gpt-realtime 和 Realtime API 更新
OpenAI 发布了 GPT-4.1，这是其 API 的新模型系列，在编码、指令遵循和长上下文理解方面提供了显著改进，性能优于 GPT-4o 等先前模型。该公司还推出了更小、更快的 GPT-4.1 mini 和 GPT-4.1 nano 变体。此外，OpenAI 推出了其最先进的语音到语音模型 gpt-realtime，旨在提供具有增强自然度和指令遵循能力的可靠语音代理，并更新了其 Realtime API。