MVLMs

新的MoBE框架在无需测试时训练的情况下增强了医学视觉语言模型

研究人员推出了一种新颖的MoBE框架，旨在增强混合专家（MoE）模型在测试时的模态泛化能力，特别是在医学视觉语言应用中。MoBE解决了在推理过程中无需任何优化即可适应未见数据模态的挑战。该框架采用熵引导的动态路由和专家级贝叶斯自适应，使专家能够在没有梯度更新的情况下在线调整其置信度并进行自适应。这种无需训练的方法显著提高了在医学基准测试上的准确性，优于最先进的测试时自适应方法。