Moshe Kimhi

新模块优化视觉语言模型的图像分辨率

研究人员开发了CARES（Context-Aware Resolution Selector），一个旨在为视觉语言模型（VLMs）优化图像分辨率的模块。这个轻量级模块可以预测给定图像-查询对所需的最低足够输入分辨率，从而减少计算负载和延迟。通过使用一个紧凑型VLM来确定目标VLM的响应何时收敛，CARES可以将计算量减少高达80%，同时在各种基准测试和VLMs上保持任务性能。