ProLaViT

ProLaViT框架增强多模态LLM的复杂视觉推理能力

研究人员推出ProLaViT，一个旨在增强多模态大语言模型（MLLM）在复杂视觉推理任务中能力的新框架。ProLaViT利用内源性自蒸馏机制，使MLLM能够在其潜在空间中执行结构化视觉推导。该框架包含两种推理范式：用于空间任务的粗粒度因果链和用于逻辑任务的辩证推理链，以及用于防止特征退化的距离加权多样性损失。实验表明，在以视觉为中心的基准测试中，ProLaViT的准确性、可解释性和效率均优于现有方法。