HFCMA

新的HFCMA框架通过动态对齐改进图文检索

研究人员引入了一个名为分层细粒度跨模态对齐（HFCMA）的新框架，以改进图文检索。该方法动态发现语义单元，将原始图像块和文本标记转换为自适应的视觉区域和文本短语。HFCMA然后使用熵正则化最优传输方法来匹配这些区域和短语，并结合背景去偏和文本重要性加权，以实现更准确的对齐。在Flickr30K和MS-COCO数据集上的实验表明，HFCMA在区分细微语义差异和提高检索准确性方面非常有效。