Ref-AVS

新的SAIL框架解决了音频-视觉分割中的目标移位问题

研究人员开发了一个名为SAIL（Shift-Aware Identity-guided Latent）的新框架，以改进指代音频-视觉分割（Ref-AVS）。这项任务需要利用视觉、听觉和语言线索来识别和分割特定对象。现有方法在目标移位问题上存在困难，即模型由于遮挡或身份模糊而错误地关注不同的对象。SAIL通过将帧级动态与全局语义锚点解耦来模拟目标移位线索，并使用一个细化模块通过将令牌与领域特定证据对齐来纠正漂移。