LowRank Adaptation

CoLA框架通过双路径LoRA增强多模态AI适配

研究人员推出CoLA（Cross-Modal Low-rank Adaptation），一个旨在高效适配基础模型以用于多模态任务的新框架。与现有方法分别独立适配各模态不同，CoLA在标准的模态内适配路径之外，增加了一条模态间适配路径。这种双路径方法可以在不干扰模态特定学习和跨模态学习的情况下实现有效适配。在视觉语言和音频视觉基准上的评估显示，CoLA的性能分别比标准LoRA高出约3%和2%，同时保持了参数效率。