medical MLLMs

VITAL框架通过双重监督增强医学多模态大语言模型的可解释性

研究人员推出了一种名为VITAL的新型框架，旨在增强医学多模态大语言模型（MLLMs）的潜在推理能力。该方法通过采用双重监督策略来解决模态崩溃和可解释性不足等问题。VITAL使用一个辅助文本解码器和一个视觉投影仪，两者在推理时都可以分离，以保持效率，同时通过文本和视觉解释实现事后可解释性。该框架在各种基准测试中展示了最先进的性能，超越了现有方法，甚至可以与万亿参数的专有模型竞争。