SemArt+

新的CANVAS框架通过关系感知表示增强了多模态艺术理解

研究人员开发了CANVAS，一个受束理论启发的、用于学习关系感知多模态表示的新框架。该方法解决了当前视觉语言模型（VLMs）将各种艺术史推理维度压缩到单一嵌入空间中的局限性。CANVAS将艺术品投影到基于关系类型的多个嵌入中，使用新颖的对比损失在推理时无需外部数据即可编码上下文信息。在新基准上的评估表明，CANVAS在多模态检索和艺术理解方面具有优越性，突出了多关系对齐的实际重要性。