Speech2MaskTrack

Speech2MaskTrack 在LSVOS挑战赛中获得亚军

研究人员开发了Speech2MaskTrack，一种用于语音引导的视频对象分割的新颖方法。该方法将语音识别与时间定位和掩码跟踪相结合，以根据口头运动描述识别对象。Speech2MaskTrack通过将口头查询转录为结构化约束，并使用运动和关系证据对实例轨迹进行排名，在2026年第8届LSVOS挑战赛的MeViS-Audio赛道上获得第二名。