RSVQA-x

新框架适配视觉语言模型以实现高效遥感视觉问答

研究人员开发了一个名为RS Adapter的统一框架，这是一种参数高效微调（PEFT）策略，用于适配现有的视觉语言模型（VLMs）以进行遥感视觉问答（RSVQA）。该方法将轻量级适配器注入三种不同的VLM架构：双编码器CLIP、编码器-解码器BLIP和混合FLAVA。在RSVQA-x数据集上的实验表明，虽然所有适配后的模型都能收敛，但混合FLAVA架构在推理和检索能力之间提供了最佳平衡，为灾害评估和城市监测等应用中的高效VQA树立了新基准。