研究人员推出TwinPast,这是一个旨在评估AI模型在流媒体视频理解中利用历史证据能力的新基准。现有的基准测试往往不能充分测试这项能力,模型有时会基于最近的帧或仅凭问题就能正确回答。TwinPast使用了350对视频,其中历史背景被改变,而其他元素保持不变,专门测试模型随时间追踪变化的能力。初步评估显示,尽管Qwen3 VL 8B和DeepSeek Flash等模型在TwinPast上使用历史输入有所改进,但与通用模型相比仍存在显著的性能差距,这凸显了AI在时间推理方面仍需改进。 AI
影响 突出了AI在时间推理方面的一个关键差距,可能指导未来视频理解模型的开发。
排序理由 一项新的学术论文,介绍了一个新颖的AI模型评估基准。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →