Video-Holmes
PulseAugur coverage of Video-Holmes — every cluster mentioning Video-Holmes across labs, papers, and developer communities, ranked by signal.
-
新的代理框架增强长视频理解能力
两篇新的研究论文介绍了一种用于改进长视频理解的新型代理框架。第一个,VAMR,在单个工具使用轨迹中协调关于视频的多个问题,从而实现共享证据获取和统一理解。VAMR 在 LVBench、Video-Holmes 和 LongVideoBench 等基准测试中展示了卓越的准确性和效率。第二个,RACER,采用了一个反思性代理框架,将查询解释与证据定位分开。RACER 的 Vid-LLM 将复杂查询重塑为子查询,然后由嵌入模型使用这些子查询…
-
新框架增强AI视频理解和多视频推理能力 · 跟踪3个来源
研究人员开发了用于改进视频理解智能体的新框架。Video-RSI 通过让智能体修改自身的工具链以更好地从视频中获取和使用证据,专注于递归式自我改进,从而提高了准确性和效率。VidHarness 使用蒙特卡洛树搜索和不确定性感知验证来自动化长视频理解的工具链设计,在多个基准测试中表现优于现有方法。此外,SAMA 框架和 MVX-Bench 基准测试解决了多视频推理的局限性,使智能体能够跨多个视频进行结构化推理,并优于强大的基线。
-
Video-FLAIR框架学习自适应推理以处理多模态查询
研究人员推出了一种新颖的训练框架Video-FLAIR,旨在优化多模态查询的推理策略。该系统采用强化学习,为每个查询动态选择最合适的推理模式——感知、组合或审议式——从而提高效率和准确性。通过比较所有三种模式生成的响应并使用复合奖励信号,Video-FLAIR学会了在不需要每个查询的标注的情况下进行自适应推理。这种方法在MathVista、Video-Holmes和Video-MMMU等基准测试中显著提高了准确性,同时大幅降低了计算成本。
-
Video-o3框架通过迭代式线索探寻增强长视频推理能力
研究人员开发了Video-o3,一个旨在通过迭代式发现相关视觉线索和细粒度检查关键片段来提高长视频理解能力的新框架。该系统通过使用任务解耦注意力掩码(Task-Decoupled Attention Masking)来分离推理和工具调用,同时保留全局上下文,从而解决了多模态模型在工具调用方面面临的挑战。为了管理上下文长度并提高效率,它采用了可验证轨迹引导奖励(Verifiable Trajectory-Guided Reward)机制…