Yingying Yan

新的DGP方法通过连接所有视觉和语言模型层来增强MLLM

研究人员开发了动态门控通路（DGP），一种用于多模态大语言模型（MLLM）的新型路由机制。DGP在视觉编码器和语言模型的每一层之间建立全连接，允许每个语言模型层根据其语义状态动态选择视觉信息。这种方法改进了现有方法，这些方法通常注入单层视觉表示或使用预定义的连接。当与LLaVA-1.5-7B和13B实现时，DGP在SQA$^{I}$、MM-Vet和VizWiz等各种基准测试中展示了持续的性能提升，并通过层级路由分析提供了可解释性。