Tir

MODAL框架增强多模态物体重识别

研究人员推出了一种新的多模态物体重识别框架MODAL，旨在通过有效整合视觉和文本数据来改进跨摄像头检索。该系统通过新颖的多模态特征稀疏解耦模块解决了特征纠缠和跨模态冲突等挑战，该模块将特征解耦为单一模态特定、双模态和三模态共享表示。此外，MODAL还包含一个模态感知子空间激活机制来处理不完整的模态场景，以及一个文本-图像差分过滤模块，利用文本语义来精炼视觉表示。在四个数据集上的实验表明，MODAL通过增强的透明度实现了最先进的性能。