Intern-VL

Sa2VA模型通过SAM-2和MLLM统一图像和视频理解

研究人员推出Sa2VA，这是一种旨在全面理解图像和视频的新型模型。Sa2VA集成了基础视频分割模型SAM-2与先进的多模态大语言模型（MLLM），在统一的token空间内处理文本、图像和视频。这种集成使得Sa2VA能够执行多种任务，包括指代分割和对话，只需极少的指令调整。该模型还引入了Ref-SAV，一个包含72,000多个复杂视频场景中物体表达的新数据集，以提高性能，特别是在指代视频物体分割方面。