TimeLens-8B

MLLMs 难以处理视频时序；新方法可恢复时序关联

研究人员发现多模态大语言模型（MLLMs）存在时序关联问题，模型在初始阶段能理解事件时序，但在生成答案时会丢失该信号。他们发现特定的注意力头（称为时序关联头，TG-Heads）在预填充阶段会关注视频中的正确时间间隔。为解决此问题，他们开发了一个推理时框架，利用这些 TG-Heads 提取相关间隔，然后用受限的视觉上下文重新调用模型，在无需模型重新训练的情况下提高了视频时序关联基准的性能。