Xuhui Zhang

Inverse-LLaVA 提出新的文本到视觉映射以实现多模态AI

研究人员推出 Inverse-LLaVA，这是一种新颖的多模态架构，重新思考了文本和视觉之间的对齐过程。与将视觉特征投影到文本标记空间中的传统方法不同，Inverse-LLaVA 将文本嵌入映射到连续的视觉表示空间。这种方法无需显式的对齐预训练即可实现有效 Thus, the model shows selective performance drops on perception tasks requiring explicit v…