PivotMerge

PivotMerge框架整合多模态大语言模型对齐能力

研究人员推出了一种新颖的框架PivotMerge，旨在整合不同多模态大语言模型（MLLMs）的跨模态对齐能力。该方法解决了预训练模型合并中的挑战，特别是跨域参数干扰和对齐中层贡献不均的问题。PivotMerge利用共享空间分解和过滤，以及对齐引导的层级合并，来有效地结合这些专家模型。在多模态基准测试上的实验表明，PivotMerge在桥接异构预训练方面优于现有方法。