Lorenzo Caselli

SpectralGCD 通过高效的多模态学习推动类别发现

研究人员开发了 SpectralGCD，一种用于广义类别发现 (GCD) 的新颖多模态方法。该方法通过整合 CLIP 跨模态相似性的文本和视觉信息，有效地在无标签数据中识别新类别。SpectralGCD 通过将图像表示为大型词典中概念的混合体来锚定学习到显式语义，从而减少对虚假视觉线索的依赖。该方法还采用谱滤波和知识蒸馏，以降低计算成本确保语义质量和对齐，在六个基准测试中表现优于最先进的方法。