GraSP-VL

GraSP-VL 方法在视觉-语言嵌入中解锁语义粒度

研究人员开发了 GraSP-VL 方法，通过将冻结的视觉-语言模型 (VLM) 嵌入的长度视为语义接口来更好地利用它们。该方法学习一个共享的前缀变换，允许较短的前缀表示粗粒度的语义角色，而较长的前缀则揭示更精细的区别。在 COCO/Flickr30K 数据集上的实验表明，GraSP-VL 能有效地将 VLM 嵌入重组为一个可截断的语义前缀接口，其性能优于简单的压缩技术。