Counterfactual Pairing Cycles

新方法解决视觉-语言模型中的关系型OOD错误

研究人员引入了一种名为“对立配对循环”的新型评估方法，以应对评估视觉-语言模型中关系型分布外（OOD）错误所带来的挑战。该技术旨在通过确保仅图像和字幕之间的配对发生变化，而图像和字幕本身保持不变，来防止模型利用数据集中的捷径。实验表明，该方法在区分真实的图像-字幕匹配与方向性角色绑定失败方面有效，并能提高在特定关系任务上的性能，如在合成数据、GQA和COCO上的实验所示。