InternVL2-1B

新的Latent-Lens方法使小型语言模型能够感知视觉数据

研究人员开发了Latent-Lens，一种使小型语言模型（SLM）在未经直接训练的情况下感知视觉信息的新颖方法。该技术使用轻量级编解码器来弥合冻结的视觉语言模型（VLM）和冻结的SLM之间的表示差距，使它们能够通过隐藏状态而不是离散文本进行通信。Latent-Lens显著提高了视觉问答和图像字幕任务的性能，即使在使用不同架构和词汇的SLM时也是如此。