PoliMemeDecode1

新框架利用多模态融合检测孟加拉语表情包中的政治意图

研究人员开发了一个新颖的多模态内容解读框架，专门用于检测孟加拉语表情包中的政治意图。该方法利用视觉语言模型提取图像中的文本，然后通过跨模态注意力机制融合视觉和文本特征。该框架还纳入了一个特定领域的政治词典作为知识先验，在PoliMemeDecode1数据集上取得了约0.94的最新Macro-F1分数。可解释性分析表明，该模型能有效地将文本语义与视觉证据联系起来。