Visual7W

新的QART模块将视觉标记预算调整为文本查询

研究人员开发了一种查询自适应循环分词器（QART），它使视觉表示能够进行查询引导和预算自适应。该模块允许视觉和视觉语言模型根据特定文本查询所需的信息来分配标记预算，而不是使用固定预算。QART通过重构质量与查询相关的视觉支持来控制标记分配，从而循环构建紧凑的表示。在Visual7W和VQAv2数据集上的实验表明，QART在显著减少标记数量的情况下实现了高精度，并在某些基准测试中优于SteerViT等现有方法。