Visual STS

Pixel Linguist II 通过新颖的像素空间学习推进视觉文本理解

研究人员开发了 Pixel Linguist II，这是一种新颖的视觉编码器，旨在直接在像素空间中处理文本。该模型通过整合可变图像分辨率、用于基础的自然图像-文本对、布局感知渲染以及多语言训练课程，解决了现有系统中的局限性。Pixel Linguist II 在各种视觉文本理解基准测试中取得了最先进的成果，并证明了在显著的视觉令牌压缩下的鲁棒性，表明了光学上下文压缩的潜力。