研究人员发现多模态大语言模型（MLLM）面临一个新的挑战，它们无法读取图像粗糙结构中嵌入的文本，这种现象被称为“眯眼文本”。为此，他们开发了SquintBench，一个包含1076张审核图像的数据集，以及SquintCtrl，一个用于诊断该问题的合成套件。他们的研究结果表明，空间选择是MLLM阅读此类文本的主要瓶颈。他们提出了Squint OPSD，一种使用具有特权上下文的冻结教师模型来监督学生模型的方法，该方法显著提高了在SquintBench上的阅读性能。 AI
影响 突出了MLLM在视觉理解方面的特定局限性，有望推动AI系统在基于图像的文本识别方面的改进。
排序理由 该集群包含一篇学术论文，详细介绍了多模态大语言模型的一个新问题及其提出的解决方案。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
