EndoVLM

EndoVLM：新型视觉语言模型增强内窥镜图像分析

研究人员开发了EndoVLM，这是一种新颖的视觉语言基础模型，专门用于分析内窥镜图像。该模型利用了超过348,000次内窥镜检查，将临床报告与相应的图像集配对。EndoVLM采用了解剖引导稀疏池化机制，根据文本描述有效地聚合相关帧，并采用渐进式语义感知对齐策略来弥合视觉数据和临床数据之间的差距。实验表明，EndoVLM的表现优于现有的基础模型，并可与特定任务的方法相媲美，在更广泛的临床应用中展现出强大的零样本泛化能力。