hyperbolic volumes

新的SCALAR方法通过加权数据源增强多模态检索

研究人员开发了一种名为球形质心聚合与学习自适应相关性（SCALAR）的新方法，以改进多模态检索系统。与之前同等对待所有数据类型的旧方法不同，SCALAR根据不同模态（如视频、音频和文本）与查询的相关性，为其分配自适应权重。这种方法使用少量可训练参数，在多个基准测试中显著提高了检索准确性，优于之前的聚合器，甚至在文本到视频检索方面取得了最先进的成果。