Heidelberg

新的HeiCo-FOCUS数据集挑战VLMs进行数小时手术视频的理解

研究人员推出了HeiCo-FOCUS，一个旨在评估视觉语言模型（VLMs）长上下文视频理解能力的新数据集。该数据集源自海德堡结直肠手术，专注于在可能持续数小时的手术过程中跟踪异物的挑战。HeiCo-FOCUS包含30,000个视觉问答对，并采用多轨道评估框架，逐步测试模型在物体识别、时间定位、聚合、事件理解和复杂推理方面的能力。对十个前沿VLMs进行的初步实验揭示了重大挑战，尤其是在时间定位方面，表明当前模型距离掌握这项复杂任务还有很长的路要走。