MMDocIR

MLLM检索头是稀疏的、跨模态共享的、可优化的

研究人员调查了多模态大语言模型（MLLM）中的检索头，发现这些负责在长输入中定位相关信息的检索头保持稀疏，并且在视觉和音频等不同模态之间基本共享。他们对18个检查点的研究表明，这些共享的检索头虽然占所有检索头的不到2%，但对于包括文档理解和空间感知在内的任务至关重要。通过使用排序目标来优化这些检索头，研究人员在MMDocIR基准测试上将Qwen3 VL 8B的性能提高了6个多点，证明了它们作为增强MLLM能力的分析工具和优化目标的潜力。