实体
MeViS-Audio Track
MeViS-Audio Track
PulseAugur coverage of MeViS-Audio Track — every cluster mentioning MeViS-Audio Track across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
多模态大语言模型 (MLLM) 增强了 LSVOS 挑战赛中音频引导的视频分割
研究人员开发了一种新颖的音频引导视频目标分割框架，该框架将多模态大语言模型 (MLLM) 与基于 SAM 的分割模型相结合。该方法在技术报告中提出，将任务分解为多个阶段，并利用基础模型，无需额外的训练或微调。通过利用 MLLM 进行文本-视觉对应以及基于 SAM 的模型进行掩码生成，该框架在第 8 届 LSVOS 挑战赛的 MeViS-Audio 赛道上取得了有竞争力的结果。
-
ASR-SaSaSa2VA框架在音频引导视频分割挑战赛中获得第二名
研究人员开发了ASR-SaSaSa2VA，一个用于音频引导视频对象分割的新型框架，提高了效率和鲁棒性。该方法使用自动语音识别将音频输入转换为文本运动描述，然后利用预训练的文本模型进行像素级预测。一个额外的模块过滤掉不相关的音频片段，增强了系统处理歧义输入的能力。该框架在第五届PVUW挑战赛MeViS-Audio赛道中以80.7分的成绩获得第二名。