EgoSchema
PulseAugur coverage of EgoSchema — every cluster mentioning EgoSchema across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新算法TASKER改进视频理解和代理任务
研究人员开发了TASKER，一种新颖的关键帧提取算法，旨在提高视频问答（VideoQA）和视频引导代理任务的性能。该算法在一个新论文中进行了详细介绍，它联合考虑任务相关性和场景动态性来识别信息帧。还引入了一个新的基准VG-GUIBench，用于评估多模态大语言模型（MLLMs）遵循视频教程和完成GUI交互任务的能力，证明了TASKER的有效性。
-
InternVideo3 增强视频理解能力，引入新推理框架
研究人员推出了 InternVideo3，一个旨在提升长时视频理解和代理能力的新框架。该系统利用多模态上下文推理（MCR）将视频内容处理为不断演变的上下文，从而在延长时间内进行证据累积和验证。为了保持效率，InternVideo3 采用了多模态多头潜在注意力（M^2LA），该机制在不丢失 token 信息的情况下压缩键值缓存状态。该模型在各种视频理解基准测试中表现出色，并已被改编成一个能够进行证据支撑检索任务的视频代理。
-
新的AI方法通过结构化和选择视觉证据来增强视频推理能力
研究人员正在开发新方法，以改进大型视觉语言模型（VLM）理解和推理长视频的方式。几篇论文介绍了更有效的帧选择和证据收集技术，超越了简单的采样，采用了自适应策略。这些方法旨在通过关注特定查询最相关的视觉信息来降低计算成本并提高准确性。
-
HiCrew: Hierarchical Reasoning for Long-Form Video Understanding via Question-Aware Multi-Agent Collaboration
研究人员开发了新的框架来提高AI模型在视频理解和推理方面的能力。StoryTR引入了一个关注“心智理论”的基准和训练方法，用于推断叙事因果关系，表明推理能力比模型规模更关键。HiCrew采用一种分层多智能体方法，通过问询感知协作来处理长视频，以保持时间连贯性并适应推理策略。UpstreamQA提出了一个模块化框架，解耦推理组件，使用大型推理模型来丰富下游视频问答模型的输入，从而提高性能和可解释性。Find, Fix, Reason引入…