Relevance-Guided Window Reshaping

新的ReFIT框架通过自适应标记缩减加速视觉语言模型

研究人员开发了ReFIT，一个新颖的框架，旨在提高大型视觉语言模型在处理高分辨率图像时的效率。ReFIT采用指令引导的视觉标记缩减，利用相关性引导窗口重塑（RWR）来识别和适应与指令相关的区域，并通过指令引导标记精炼（ITR）来消除多余的标记。这种方法旨在保留空间结构信息，例如通常在更简单的标记缩减方法中会丢失的长文本。在各种视觉问答基准上的实验表明，ReFIT在提高准确性的同时降低了计算需求。