BioMedGPT

新的MIND网络使用扩散变换器增强医疗图像融合

研究人员开发了MIND，一种新颖的多模态意图驱动网络，它利用扩散变换器进行医疗图像融合。该网络通过首先使用BioMedGPT从源图像生成诊断意图文本来整合来自各种成像模态的信息。为了保持空间连续性和语义一致性，MIND采用了多尺度潜在适配器和医疗语义一致性损失。在包括Harvard、BraTS和GFP在内的数据集上的实验表明，MIND提高了融合质量，改进了下游脑肿瘤分割，并支持用于临床决策支持的交互式融合。