MHVRC

新框架支持健康视频的多轮交互式检索

研究人员开发了一个名为DATR的新框架，用于健康视频的交互式多轮语义检索。该系统通过允许多次交互来优化用户查询，克服了单轮检索的局限性，这对于复杂的健康相关信息需求至关重要。该方法采用两阶段检索过程，结合了CLIP风格的双编码器和稀疏帧采样进行初步检索，以及基于融合多轮查询的重排交叉编码器。创建了一个新的语料库MHVRC来对这种交互式检索方法进行基准测试。