Zhiyun Shi

新研究强调了视觉语言模型中的“读用差距”

研究人员发现，视觉语言模型（VLMs）在处理图像中的嵌入文本时存在显著的性能差距，被称为“读用差距”。尽管VLMs能够准确地从图像中转录文本，但它们在利用这些转录信息来完成下游任务方面却面临困难。即使像Qwen3-VL-8B这样的模型提高了文本识别能力，这种局限性依然存在。一种名为ALOUD的提议方法通过优化证据识别的视觉分辨率并使用语言令牌进行理解来解决这一问题，显著提高了在压缩到图像中的长文档上的准确性。