SkyVLaM

SkyVLaM模型增强了遥感领域无人机视频的理解能力

研究人员推出SkyVLaM，这是一种新颖的多模态大语言模型，专为理解遥感应用中无人机（UAV）拍摄的视频而设计。该模型通过构建视频块的稀疏令牌并自适应地选择连贯的密集片段进行详细检查，来解决小目标模糊和视角动态等挑战。SkyVLaM使用大语言模型处理这些令牌以进行查询条件分割，并附带SkyVid数据集，该数据集包含用于视频基础对话生成和指代视频对象分割的组件。