TextSLIP

TextSLIP框架通过改进的文本监督增强医学报告生成

研究人员开发了TextSLIP，一个旨在通过增强视觉编码器的监督来改进医学报告生成的新框架。该方法通过引入模态内文本对比学习来增强标准的对比语言-图像预训练（CLIP）。通过使用自监督增强文本对，TextSLIP旨在创建更具辨别力的文本嵌入，从而为视觉编码器提供更细粒度的语言指导。在脑部MRI图像-文本对上的初步测试表明，与现有的CLIP风格方法相比，报告生成指标得到了一致的改进，并且消融研究证实了文本端自监督的益处。