Prior-Fitted Scorer

新研究探索先进的多模态对比学习策略

研究人员正在探索多模态对比学习的新方法，超越传统的相似性函数。一种方法是使用预训练的Transformer模型作为“评分器”，发现即使是冻结的、随机初始化的模型也能优于手工设计的基线。另一项研究调查了视觉内容在原生多模态预训练中的作用，表明它充当了一个可扩展的锚点，增强了超越视觉理解的能力。第三篇论文批判性地审查了各种对比训练策略，揭示了许多策略带来的收益甚微，有些甚至会降低性能，而硬负例挖掘、假负例缓解和硬批次构建的组合则显示出希望。