Pix2Cap-COCO

Diff-Feat 框架从扩散模型中提取最优特征用于多标签分类

研究人员开发了 Diff-Feat，一个新颖的多标签分类框架，该框架利用预训练的扩散 Transformer 模型中的中间特征来处理图像和文本数据。研究确定了最优特征选择的独特模式，指出中间步骤和块对于视觉任务至关重要，而无噪声步骤和更深的块则最适合语言任务。对这些选定表示的简单融合在 Visual Genome 和 Pix2Cap-COCO 数据集上取得了最先进的结果。