MKP-Adapter

新型适配器实现多模态大语言模型向后兼容

研究人员开发了多模态知识保持适配器（MKP-Adapter），这是一种确保多模态大语言模型（MLLMs）向后兼容的新方法，无需更新核心骨干模型。这种仅适配器的方法利用多级保持损失和焦点重加权策略，解决了在保持兼容性的同时保留新嵌入知识的挑战。实验表明，MKP-Adapter 在图像、文本、视觉文档和视频检索等各种多模态任务中实现了强大的向后兼容性，且附加延迟极小。