Fixed-frame Modality Gap Theory

新训练范式ReVision解决多模态大语言模型中的模态鸿沟问题

研究人员开发了一种名为ReVision的新训练范式，用于多模态大语言模型（MLLMs），以解决“模态鸿沟”问题。这种鸿沟指的是当前模型中视觉和语言表示之间的几何不对齐。提出的固定帧模态鸿沟理论（Fixed-frame Modality Gap Theory）精确地描述了这种异常，从而提出了一种无需训练的对齐策略ReAlign。ReAlign利用不成对的数据将文本表示与图像分布对齐，使MLLMs能够高效地学习视觉表示，而无需大量的图像-文本对。