Mixture of Layers (MoL)

新的Mixture of Layers方法增强了MLLMs的视觉推理能力

研究人员推出了一种新颖的多模态大语言模型（MLLMs）方法，称为Mixture of Layers（MoL），它能够动态地从视觉编码器的中间层路由信息。与通常依赖最终表示的现有模型不同，MoL使用指令条件概率在图像块级别聚合与查询相关的特征。这种方法允许自适应地访问特定层的视觉线索，显著提高了细粒度视觉推理任务的性能。MoL取得了显著的进步，包括在V*上准确率提高了18.9%，在CharXiv上提高了16.3%，而无需多分辨率输入或额…