DIFFCZSL

新DIFFCZSL框架利用扩散模型提升零样本学习能力

研究人员开发了DIFFCZSL，一个通过整合扩散模型来增强组合式零样本学习（CZSL）的新框架。该方法利用中间扩散表示提供辅助监督，从而提高对概念及其组合之间结构化关系的理解。通过对齐CLIP嵌入与扩散特征，DIFFCZSL在不增加推理成本的情况下，鼓励更丰富、更具组合意识的语义。在公开基准上的实验表明，在封闭世界和开放世界场景中，该方法均优于现有的基于CLIP的方法，突显了生成式扩散表示与判别式视觉语言模型相结合的好处。