REL-CoT

新的VLM框架LensVLM和FocusVTC改进了视觉文本压缩

研究人员开发了两个新框架LensVLM和FocusVTC，以改进视觉语言模型（VLM）处理长文档的方式，方法是压缩视觉文本表示。LensVLM使用训练后方法选择性地扩展相关文本的压缩图像，在保持准确性的同时实现了显著压缩。FocusVTC采用自适应分辨率，结合低DPI全局视图和选择性区域增强，并在各种基准测试中展示了改进的性能，甚至在某些任务上超越了其文本输入骨干。