Federated Medical VQA

FM$^2$模型通过GPT-4o字幕统一联邦医学影像 · 跟踪2个来源

研究人员开发了FM$^2$，这是一种新颖的联邦基础模型，专为异构多模态医学影像设计。该框架通过从头开始训练并整合生物医学预训练编码器，解决了跨机构训练模型同时遵守隐私法规的挑战。FM$^2$利用双专家混合模块和异构模态对齐正则化器来提高收敛性和泛化能力，即使在客户端具有不相交模态的情况下也是如此。该系统还整合了字幕增强学习，使用GPT-4o生成的字幕来弥合语义差距并实现表示迁移。