MedICaT-ROCO

使用多模态图像进行医学思考

研究人员开发了MIRAGE系统，旨在通过检索和生成多模态医学图像和文本来辅助医学教育。MIRAGE利用了经过微调的CLIP模型（MedICaT-ROCO）和扩散模型（Prompt2MedImage），允许用户根据文本提示查找或创建相关图像。此外，一个大型语言模型（Dolly-v2-3b）提供了丰富的描述，并且该系统支持对不同医学状况进行视觉比较。其目标是为全球医学生提供一个免费、易于访问且交互式的学习工具，该工具完全基于公开可用的预训练模型构建。