研究人员推出了一种名为V-STORM的新型框架,旨在增强多模态大语言模型(MLLMs)的时空推理能力。该框架将视频转换为时空场景图(STSGs),并从经过验证的证据路径中提取基础思维链(GCoT)注释,使每个推理步骤都可追溯。使用此方法构建了一个包含260,000个样本的数据集和一个3,000个样本的基准测试,结果表明,尽管当前的MLLMs能够识别相关的时空线索,但它们在将这些线索整合到多步推理中时存在困难。使用V-STORM进行微调已显著提高了答案准确性和基础忠实度。 AI
影响 该数据集和框架可以改进AI模型理解和推理视频内容的方式,从而在视频分析和摘要等领域带来更高级的应用。
排序理由 该集群描述了一个用于视频推理研究的新数据集和框架。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →