CM-GLasso

新的CM-GLasso框架学习可解释的视觉语言依赖图

研究人员开发了CM-GLasso，一个用于从多模态视觉语言数据中学习可解释条件依赖结构的新框架。该方法将视觉语言表示学习与稀疏高斯图模型相结合。CM-GLasso利用文本可视化策略处理类别-属性描述，并通过跨注意力蒸馏机制将高维图像块压缩成语义图节点，生成跨模态结构先验。该框架采用联合ADMM公式进行高效估计，并在各种基准测试中表现出竞争力，包括在分类和分割任务上取得高精度。