研究人员开发了一种查询自适应循环分词器(QART),它使视觉表示能够进行查询引导和预算自适应。该模块允许视觉和视觉语言模型根据特定文本查询所需的信息来分配标记预算,而不是使用固定预算。QART通过重构质量与查询相关的视觉支持来控制标记分配,从而循环构建紧凑的表示。在Visual7W和VQAv2数据集上的实验表明,QART在显著减少标记数量的情况下实现了高精度,并在某些基准测试中优于SteerViT等现有方法。 AI
影响 这种方法可能导致AI模型中更高效、更具上下文感知的视觉处理,从而降低计算负载并提高视觉语言任务的性能。
排序理由 该集群描述了arXiv论文中提出的一种新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →