Reasoning Vectors

新LIFT方法将推理能力从LLM迁移到VLM

研究人员开发了LIFT，一种增强视觉语言模型（VLM）多模态推理能力的新方法。LIFT解决了将大型语言模型（LLM）与视觉模块扩展时会损害其固有的语言推理能力的常见问题。通过从基础LLM中提取“推理向量”并将其注入VLM，LIFT旨在在不重新训练VLM核心架构的情况下恢复这种丢失的推理能力。实验表明，源自基础LLM的向量比源自VLM本身的向量更有效，这表明LLM是推理迁移的更优来源。