BioBART

新的频域融合提升医学VQA性能

研究人员开发了一种新颖的频域双分支融合模块，用于增强医学视觉问答（VQA）。该方法在生成答案之前，自适应地从视觉和文本数据中选择低频全局结构和高频精细细节。通过提取BiomedCLIP编码器不同层的特征，并使用InfoNCE目标与问题表示对齐，该模型使用BioBART解码器进行训练。所提出的方法在PMC-VQA、VQA-RAD和SLAKE基准测试中表现出改进的性能，同时保持了高效的架构。