Score Correction Network

新系统PeakPatch可恢复CLIP模型中的否定信号

研究人员开发了PeakPatch，一个新颖的事后系统，旨在解决像CLIP这样的对比视觉-语言模型中的否定盲点。该系统通过在冻结的CLIP文本编码器的组合峰值处拦截中间特征来工作。一个嵌入校正网络（ECN）提取否定特定信号并预测偏差向量，将丢失的语法重新注入最终的嵌入中，而一个互补的得分校正网络（SCN）则调整判别任务的标量偏移。PeakPatch添加的参数极少，并在否定基准测试中展示了显著的改进，在不改变原始模型权重的情况下，其性能优于现有方法。