PulseAugur
中
实时 10:08:16
实体 VQAv2

VQAv2

PulseAugur coverage of VQAv2 — every cluster mentioning VQAv2 across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
4
90 天内 12
发布 · 30天
0
90 天内 0
论文 · 30天
4
90 天内 12
层级分布 · 90 天
主题
情绪 · 30 天

2 天有情绪数据

最近 · 第 1/1 页 · 共 12 条
  1. RESEARCH · CL_357654 ·

    新研究探讨视觉语言模型进展与安全性

    arXiv 上发表的多篇研究论文探讨了视觉语言模型(VLM)的进展。ViLFlow 提出了一种并行生成方法,以改进视觉问答和图像字幕。MoMoVL 专注于设备上 VLM 的模态感知自适应压缩,特别是那些使用混合专家架构的模型。RePlan-VLA 提供了一个框架,通过基于进度进行重新规划来增强长时域机器人操作任务中的 VLA 模型。其他研究调查了 VLM 的基础能力、偏好优化对对象覆盖的影响以及视觉语言融合的缩放定律,同时还研究了诊断…

  2. TOOL · CL_315313 ·

    JUICE模型在连续编码器空间中统一多模态生成

    研究人员推出JUICE(Joint Unified multimodal modeling In Continuous Encoder spaces),一种新颖的Transformer模型,专为统一多模态生成而设计。与以往将图像和文本生成视为不对称处理的模型不同,JUICE直接在连续编码器空间中对联合分布进行建模,从而实现灵活的任务定义。该模型可以通过调整每种模态的噪声水平来执行图像生成、字幕生成、视觉问答或联合生成。JUICE拥有2…

  3. TOOL · CL_308131 ·

    新的QART模块将视觉标记预算调整为文本查询

    研究人员开发了一种查询自适应循环分词器(QART),它使视觉表示能够进行查询引导和预算自适应。该模块允许视觉和视觉语言模型根据特定文本查询所需的信息来分配标记预算,而不是使用固定预算。QART通过重构质量与查询相关的视觉支持来控制标记分配,从而循环构建紧凑的表示。在Visual7W和VQAv2数据集上的实验表明,QART在显著减少标记数量的情况下实现了高精度,并在某些基准测试中优于SteerViT等现有方法。

  4. TOOL · CL_308128 ·

    新的VQA方法解决不同的多模态偏差

    研究人员开发了一种名为“变分分解方法缓解双模态偏差”(VDB)的新方法,以解决视觉问答(VQA)模型中的偏差问题。该研究区分了计数问题和非计数问题中的偏差,发现计数问题中的数量信息源于多模态特征的幅度。VDB方法通过使用变分自编码器处理语言主导偏差,并使用双模态模型处理语言和视觉结合的偏差,专门针对这些不同的偏差。在VQACPv2、VQACPv1和GQAOOD数据集上的实验表明了该方法的有效性。

  5. TOOL · CL_254425 ·

    新的隐私防御方法用于修剪视觉语言模型的视觉标记

    研究人员开发了 QPriv-VL,一个旨在增强用于联邦学习等敏感应用的视觉语言模型(VLM)隐私的新框架。该系统在传输前智能地修剪视觉标记,从而降低数据传输成本并减少暴露私人信息的风险。QPriv-VL 使用动态阈值预测器(DTP),该预测器考虑问题相关性和特征敏感性,以选择性地保留重要的视觉数据,同时抑制潜在的敏感区域,在传输的标记少得多的情况下实现了具有竞争力的准确性。

  6. TOOL · CL_229040 ·

    新的ReVA模型通过区域感知AI增强视觉问答能力

    研究人员开发了ReVA,一种新颖的区域感知视觉助手,旨在改进多模态大型语言模型(MLLMs)在视觉基础问答方面的能力。ReVA通过将整幅图像和区域级别的表示纳入其处理过程,解决了空间推理和细粒度视觉理解方面的局限性。该模型利用双桥将这些表示与LLM的嵌入空间对齐,采用了CLIP ViT-L/14 Vision Transformer和Qwen2.5-7B-Instruct LLM。通过整合来自RAM++和Grounding DINO等…

  7. TOOL · CL_169713 ·

    Argus-Unified模型提供经济高效的图像理解与生成能力

    研究人员开发了Argus-Unified,这是一种新颖的统一多模态模型,专为图像理解和生成而设计。该模型以其紧凑的尺寸和经济高效的训练而著称,它采用了两阶段流水线,并利用了预训练的视觉语言模型。通过采用混合视觉令牌和冻结的视觉编码器,Argus-Unified在GQA、POPE和VQAv2等基准测试中取得了最先进的性能,同时还展示了具有竞争力的生成能力。该开发旨在显著降低创建此类统一模型的成本和数据需求,使其更易于获取。

  8. TOOL · CL_179288 ·

    MAViE编码器将视觉语言模型效率提升80%

    研究人员推出MAViE,一种多尺度自适应视觉编码器,旨在提高视觉语言模型的效率和有效性。MAViE利用位置依赖门控来整合来自视觉Transformer不同深度的特征,从而在保留全局语义的同时增强边缘和文本等局部细节的表示。该系统还采用问题条件令牌路由,根据图像复杂性和问题相关性来调整其令牌预算,显著减少处理的视觉令牌数量并提高推理速度。

  9. TOOL · CL_151866 ·

    视觉语言模型:提示回声解决“先问后看”悖论

    研究人员识别并解决了视觉语言模型(VLM)中的“先问后看”悖论,即问题置于图像之前通常会导致性能下降。该悖论的产生是因为虽然问题最初会引导模型感知到相关概念,但在过程后期,答案标记对它的关注度却很低。该解决方案被称为“提示回声”,它通过在提示的开头和结尾重复提问,确保问题既能影响感知,又能用于生成答案。这种受人类理解策略启发的、无需训练的方法显著提高了在NaturalBench和Winoground等基准测试上的性能。

  10. TOOL · CL_141820 ·

    AeroRAG框架增强了多模态大语言模型在航空视觉推理方面的能力

    研究人员推出了一种新颖的框架AeroRAG,旨在增强多模态大语言模型(MLLMs)在航空视觉推理方面的能力。该系统解决了从航空影像中提取小目标、精确位置和目标间关系等关键信息的挑战,而传统的密集视觉-标记表示对此类任务效果不佳。AeroRAG将图像转换为结构化视觉知识,包括目标类别、数量和空间关系,然后利用这些知识检索相关的语义块以构建提示。在航空和通用领域基准测试上的实验表明,与现有的MLLM基线相比,该框架在密集航空场景和关系敏感…

  11. TOOL · CL_135338 ·

    研究发现,视觉语言模型的推理链比答案熵提供更好的不确定性信号

    一篇新研究论文探讨了视觉语言模型(VLM)中“思考链”量化不确定性的有效性。研究发现,虽然 Qwen3-VL-8B-Thinking 等一些模型表现出不确定性信号的完全崩溃,但 GLM-4.1V-9B-Thinking 等其他模型则没有出现这种退化。InternVL3-8B 表现出选择性思考,仅为部分查询生成思考链。研究表明,这些思考链的信号比答案熵更可靠地预测不确定性,尤其是在复杂的推理任务中。

  12. RESEARCH · CL_91435 ·

    新研究探讨深度学习的不确定性和泛化问题

    研究人员正在开发新方法来提高深度学习模型的可靠性和可理解性。一篇论文介绍了校准方差传播(CVP),以仅需传统方法计算成本的一小部分即可为Transformer和CNN提供准确的不确定性估计。另一项研究通过考虑输入空间子区域内的局部鲁棒性和稳定性,提出了更紧的泛化界限,并在ImageNet上显示了改进的估计。第三项贡献探讨了贝叶斯原理以理解深度学习中的泛化,为不确定性估计提供了新框架,并建立了多样性、平滑性和随机性之间的理论联系。