luvit

新的LUViT方法弥合了LLM和Vision Transformer的模态鸿沟

研究人员开发了语言解锁视觉Transformer（LUViT），这是一种将大型语言模型（LLM）与视觉Transformer（ViT）集成用于视觉任务的新颖方法。LUViT通过使用掩码自动编码（MAE）联合训练ViT骨干网络，并使用低秩适应（LoRA+）层来适应LLM融合块，从而解决了模态不匹配问题。这种共同适应策略使ViT能够生成与LLM对齐的特征，并使LLM能够有效地解释视觉信息，从而在各种下游视觉任务上提高性能。