Video-MMMU
PulseAugur coverage of Video-MMMU — every cluster mentioning Video-MMMU across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
TRG新方法提升视频语言模型训练准确性
研究人员开发了一种名为时间响应引导（TRG）的新方法，以改进视频语言模型的训练。TRG通过利用学生模型的时序响应来指导教师监督，从而增强了on-policy蒸馏，旨在更好地捕捉时序学习。该方法包括测量模型对局部时序扰动的表示响应，并调整教师的校正。当应用于一个40亿参数的学生模型时，与标准的仅输出蒸馏相比，TRG在TempCompass和Video-MMMU等基准测试中将宏观准确率提高了2.86个百分点。
-
新框架增强AI视频理解和多视频推理能力 · 跟踪3个来源
研究人员开发了用于改进视频理解智能体的新框架。Video-RSI 通过让智能体修改自身的工具链以更好地从视频中获取和使用证据，专注于递归式自我改进，从而提高了准确性和效率。VidHarness 使用蒙特卡洛树搜索和不确定性感知验证来自动化长视频理解的工具链设计，在多个基准测试中表现优于现有方法。此外，SAMA 框架和 MVX-Bench 基准测试解决了多视频推理的局限性，使智能体能够跨多个视频进行结构化推理，并优于强大的基线。
-
Video-FLAIR框架学习自适应推理以处理多模态查询
研究人员推出了一种新颖的训练框架Video-FLAIR，旨在优化多模态查询的推理策略。该系统采用强化学习，为每个查询动态选择最合适的推理模式——感知、组合或审议式——从而提高效率和准确性。通过比较所有三种模式生成的响应并使用复合奖励信号，Video-FLAIR学会了在不需要每个查询的标注的情况下进行自适应推理。这种方法在MathVista、Video-Holmes和Video-MMMU等基准测试中显著提高了准确性，同时大幅降低了计算成本。