OG-CLIP

DouC框架增强CLIP以实现训练免费的开放词汇分割

研究人员开发了DouC，一种新颖的双分支框架，用于训练免费的开放词汇分割。该方法通过将密集预测分解为两个互补的组件来增强零样本泛化能力：OG-CLIP用于补丁级可靠性，FADE-CLIP用于注入结构先验。通过在logit级别融合这两个分支，DouC在无需额外训练或可学习参数的情况下提高了局部token的可靠性和结构感知交互。跨多个基准的实验表明，DouC的性能优于现有的训练免费方法。