Agar

新的AGAR方法增强了VLM的视觉文本理解能力

研究人员开发了一种新颖的方法AGAR（Attention-Guided Adaptive Rendering），以改进视觉语言模型（VLM）理解视觉文本的方式。AGAR通过分析VLM的内部注意力机制来识别关键文本跨度，从而解决了当前视觉文本理解（VTC）管道的局限性。在VLM重新处理渲染页面之前，这些识别出的跨度会被放大，从而在各种VTC基准测试和VLM架构中获得显著的性能提升。这种即插即用的增强功能无需训练，并且在输入退化的情况下表现出鲁棒性。