MoP Cross-modal Training

新的MoP框架通过利用特权训练数据增强多模态LLM

研究人员引入了一个名为Mixture of Probes (MoP)的新框架，旨在增强多模态大型语言模型 (MLLMs)。MoP解决了辅助模态（仅在训练期间可用）在现有MLLMs中常常被利用不足的挑战。该框架将模态特定信号和通用信号解耦，使模型能够学习可迁移的表示，并利用来自这些特权模态的互补监督。MoP在各种任务和模态上持续优于基线MLLMs，性能相对提升高达65%。