研究人员开发了多模态知识保持适配器(MKP-Adapter),这是一种确保多模态大语言模型(MLLMs)向后兼容的新方法,无需更新核心骨干模型。这种仅适配器的方法利用多级保持损失和焦点重加权策略,解决了在保持兼容性的同时保留新嵌入知识的挑战。实验表明,MKP-Adapter 在图像、文本、视觉文档和视频检索等各种多模态任务中实现了强大的向后兼容性,且附加延迟极小。 AI
影响 该方法可以显著降低多模态AI系统中更新嵌入模型的成本和复杂性。
排序理由 该集群包含一篇详细介绍大语言模型新技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →