mutual information analysis

OpticalRec 通过统一的视觉-语言编码推动多模态推荐

研究人员推出 OpticalRec，这是一种多模态推荐系统的新方法，它统一了光学和语言表示。与先前分别编码然后组合模态的方法不同，OpticalRec 将文本作为视觉符号集成到视觉编码器中，从而在感知层面实现直接的图像-文本交互。这种统一的编码范式，通过双注意力机制和互信息分析支持，旨在提高协作过滤任务中的项目表示和用户-项目匹配准确性。