研究人员开发了一种名为声学基础成本学习(AGCL)的新框架,用于开放词汇量音视频语义分割。该方法旨在通过使学习过程特定于类别和基于声音,来改进发声对象的像素级分割。AGCL 利用生成声音调制的成本和声音引导的时间聚合的模块来突出发声区域并完善时间方面,而协同干扰项挖掘策略有助于区分声学上和语义上令人困惑的类别。在 AVSBench-OV 数据集上的实验表明,该方法显著优于先前最先进的方法,尤其是在未见过类别方面。 AI
影响 这项研究推进了音视频语义分割,通过整合声音线索,有可能提高 AI 理解和解释复杂场景的能力。
排序理由 该集群包含一篇研究论文,详细介绍了一种用于特定计算机视觉任务的新框架和方法论。[lever_c_demoted from research: ic=1 ai=1.0]
- Acoustically Grounded Cost Learning
- alphaXiv
- arXiv
- Audio-Guided Temporal Aggregation
- Audio-Modulated Cost Generation
- AVSBench-OV
- CatalyzeX
- DagsHub
- Gotit.pub
- Hugging Face
- Open-Vocabulary Audio-Visual Semantic Segmentation
- ScienceCast
- Synergistic Distractor Mining
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →