研究人员开发了DRAPE，一个用于多模态持续指令微调（MCIT）的新型框架，该框架为多模态大型语言模型生成实例特定的软提示。与依赖任务级提示的现有方法不同，DRAPE通过对文本指令和视觉特征进行条件化，合成针对单个查询-图像对定制的连续提示。该框架还采用了空空间梯度投影和基于CLIP的原型路由等技术，以防止在顺序任务获取过程中发生灾难性遗忘，并在MCIT基准测试中取得了最先进的成果。 AI
影响 引入了一种新方法，用于在不忘记先前能力的情况下将多模态LLM适应新任务，有可能改善其在现实世界中的部署。
排序理由 该集群描述了一篇详细介绍多模态持续指令微调新框架的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
