PATH-VQA

MedProb框架探究VLM表征以用于医学问答

研究人员开发了MedProb，一个旨在探究视觉语言模型（VLM）在医学问答中的内部表征的新型框架。该方法通过直接从固定的VLM表征中预测答案，绕过了广泛的医学微调或复杂的多代理系统的需求。MedProb在多个医学VQA数据集上展示了卓越的性能，优于通用VLM和医学适应性VLM，甚至在提取相关信号的能力上超越了提示方法。该框架还表明，小型VLM可能包含比之前认为的更多可恢复的医学问答信息，并且与自由文本生成方法相比，它表现出不同的位置偏差。