Cambrian-1

新方法衡量多编码器视觉语言模型中的编码器作用

研究人员开发了一种新方法来分析多编码器大型视觉语言模型（LVLMs）中不同编码器的作用。通过在 Cambrian-1 基准上重新训练五个常见视觉编码器的子集，他们发现编码器的排名可能与仅在固定检查点上屏蔽编码器所发现的排名存在显著差异。该研究引入了容量-必要性分解，揭示了将高容量编码器与自适应补充配对比将两个最高容量编码器配对更有效，并且添加超过两个编码器会产生收益递减。