HarMoE

HarMoE 框架通过多源预训练增强胸部 X 光 VLM

研究人员开发了 HarMoE，一个用于在胸部放射影像上预训练视觉语言模型（VLM）的新颖框架。与之前主要依赖 MIMIC-CXR 的图像-报告对齐的方法不同，HarMoE 利用了多个异构的分类数据集。这种方法旨在学习共享的医学语义，同时分离数据集特定的变异。该框架使用统一的疾病词汇表和掩码多数据集监督来提高零样本分类和分布外迁移能力。