MultiLoReFT

新的MultiLoReFT框架在多模态学习中解耦共享和特定信息

研究人员推出了一种名为MultiLoReFT的新型框架，旨在通过高效微调预训练的单模态模型来增强多模态学习。该方法解决了多模态训练中的挑战，例如获取大型、对齐数据集的难度以及现有表示中共享和模态特定信息的纠缠。MultiLoReFT利用低秩适配来学习可解释的投影子空间，有效地解耦这些信息类型，并能更清晰地洞察共享和特定数据如何在不同模态之间分布。