SurgSTU

新数据集增强AI对手术视频的理解能力

研究人员开发了SurgSTU-Pipeline来创建一个新的数据集SurgSTU，用于手术视频的细粒度时空理解。该pipeline解决了现有数据集的局限性以及手动标注或LLM生成数据的挑战。SurgSTU数据集包含超过6,700个视频片段，配有150,000个问答对，表明虽然通用视觉-语言模型最初会遇到困难，但可以通过上下文学习和在该专业数据集上进行微调来改进。