Linquan Wu

LaViT框架通过对齐视觉思维来增强多模态推理能力

研究人员推出LaViT，一个新颖的框架，旨在通过对齐潜在视觉思维而非静态嵌入来改进多模态推理。这种方法解决了知识蒸馏中的一个关键差距，即学生模型通常关注与教师模型不同的视觉区域，导致依赖语言先验。LaViT在生成文本之前，训练学生模型自回归地重建教师的视觉语义和注意力轨迹，从而防止了捷径学习。实验表明，LaViT显著增强了视觉基础能力，一个3B参数的模型在复杂推理任务上表现优于更大的开源模型和GPT-4o等专有系统。