MKNN

新方法HeRA对齐MLLM中的注意力头，以提升视觉任务表现

研究人员推出了一种新方法HeRA，用于对齐多模态大语言模型（MLLMs）中的注意力头。该方法侧重于保留不同模态（如视觉和语言）之间表示的拓扑结构。通过将基于K近邻互信息（Mutual K-Nearest Neighbor）的对比目标应用于单个注意力头，HeRA旨在提高视觉任务的性能并减少视觉幻觉。在各种MLLMs和基准测试上的实验表明，对齐最不匹配的注意力头能带来最显著的提升。